[논문 리뷰] Tracing Back Music Emotion Predictions to Sound Sources and Intuitive Perceptual Qualities

Shreyan Chowdhury, Verena Praher외 1명|arXiv (Cornell University)|2021. 06. 14.

Music and Audio Processing참고 문헌 31인용 수 6

한 줄 요약

이 논문은 음성LIME과 중위 수준의 지각적 특징을 사용하여 음악 감정 예측을 직관적인 청각적 품질과 기저 소리 원천으로 거슬러 올라가게 하는 이중 수준의 설명 프레임워크를 제안한다. 모델 예측을 해석 가능한 음향 성분과 연결함으로써, 이 방법은 편향된 모델의 디버깅을 가능하게 하고, 균형 잡힌 데이터로 재학습했을 때 예측이 어떻게 향상되는지 드러내며, 음악 감정 인식에서 모델의 해석 가능성과 신뢰성을 향상시킨다.

ABSTRACT

Music emotion recognition is an important task in MIR (Music Information Retrieval) research. Owing to factors like the subjective nature of the task and the variation of emotional cues between musical genres, there are still significant challenges in developing reliable and generalizable models. One important step towards better models would be to understand what a model is actually learning from the data and how the prediction for a particular input is made. In previous work, we have shown how to derive explanations of model predictions in terms of spectrogram image segments that connect to the high-level emotion prediction via a layer of easily interpretable perceptual features. However, that scheme lacks intuitive musical comprehensibility at the spectrogram level. In the present work, we bridge this gap by merging audioLIME -- a source-separation based explainer -- with mid-level perceptual features, thus forming an intuitive connection chain between the input audio and the output emotion predictions. We demonstrate the usefulness of this method by applying it to debug a biased emotion prediction model.

연구 동기 및 목표

• 음악 감정 인식 모델에서 직관적이고 음악적으로 의미 있는 설명의 부족을 해결하기 위해.
• 해석 가능한 지각 중간 단계를 통해 저수준 음향 특징과 고수준 감정 예측 사이의 격차를 메우기 위해.
• 오류 예측을 특정 소리 원천과 지각적 특징으로 추적함으로써 모델 편향의 탐지 및 디버깅을 가능하게 하기 위해.
• 저수준의 음향 성분에서 고수준 감정 레이블에 이르기까지 중위 수준 지각 특징과 소스 분리 성분을 통해 계층적인 설명 체인을 구축하기 위해.
• 편향된 감정 모델에 대해 이 방법을 검증하여, 재학습 후 모델 향상 여부를 예측하고 확인할 수 있음을 보여주기 위해.

제안 방법

• 음성LIME(소스 분리 기반 설명자)와 중위 수준 지각 특징을 통합하여 음악적으로 해석 가능한 설명을 생성한다.
• 이중 단계 설명 프로세스를 적용한다: 먼저 관련된 중위 수준 지각 특징을 식별하고, 그 다음 이를 입력 음성의 특정 소리 원천으로 추적한다.
• 소스 분리된 음성 성분을 해석 가능한 특징으로 사용하여, 중위 수준 특징 공간에서의 예측을 설명하기 위해 LIME 유사 국소 대체 모델링을 적용한다.
• 소스 분리 모델(예: Spleeter)을 사용하여 음성을 별개의 소리 원천(예: 보컬, 드럼, 베이스)으로 분해하여 설명을 수행한다.
• 소스 기여도를 변형하고 모델 예측의 변화를 관찰함으로써 영향력 있는 성분을 식별한다.
• 중위 수준 특징과 감정 예측 간의 선형 연결을 활용하여 추적 가능성과 해석 가능성 확보

실험 결과

연구 질문

• RQ1 음악 감정 예측을 직관적이고 지각적으로 의미 있는 음향 성분으로 어떻게 설명할 수 있는가?
• RQ2 계층적인 설명 프레임워크는 해석 가능한 중위 수준 지각 특징을 통해 고수준 감정 예측을 저수준 소리 원천으로 연결할 수 있는가?
• RQ3 이 방법은 음악 감정 인식에서 모델 편향을 어느 정도 드러내고 디버깅할 수 있는가?
• RQ4 학습 데이터 분포의 변화가 모델 행동에 어떤 영향을 미치며, 설명은 이러한 변화를 예측할 수 있는가?
• RQ5 이 방법은 해석성을 통해 모델 향상에 실질적인 통찰을 제공할 수 있는가?

주요 결과

• 이 방법은 편향된 감정 모델에서 잘못된 예측을 특정 중위 수준 지각 특징과 그 기여도를 가진 소리 원천으로 성공적으로 추적하여 모델의 한계를 진단하는 데 기여했다.
• 설명을 통해 희귀 장르에서 성능이 열악한 모델은 훈련 데이터에서 그 장르의 특징적인 소리 원천에 노출가 부족하기 때문임을 확인했다.
• 희귀 장르에 대한 모델의 예측 패턴은 단일 중위 수준 지각 특징으로 추적되었으며, 이는 특정 음향 원천(예: 드럼 또는 보컬)과 연결되어 데이터 불균형 문제를 확인시켰다.
• 균형 잡힌 데이터셋으로 재학습한 후, 모델의 예측은 설명 기반 기대치와 일치하는 방향으로 향상되었으며, 이는 방법의 예측 능력을 검증했다.
• 음성LIME과 중위 수준 특징의 통합은 원시 음성에서 감정에 이르기까지 음악적으로 해석 가능한 설명 체인을 제공하며, 모델 신뢰도 향상과 디버깅 가능성 향상에 기여한다.
• 이 접근법은 재학습 후 모델 행동 변화의 정성적 검증을 가능하게 하여, 모델 개발 및 공정성 평가에서의 유용성을 입증한다.