[논문 리뷰] Towards Explainable Music Emotion Recognition: The Route via Mid-level Features

Shreyan Chowdhury, Andreu Vall외 2명|arXiv (Cornell University)|2019. 07. 08.

Music and Audio Processing인용 수 13

한 줄 요약

이 논문은 음악 감정을 예측하기 위해 중위 수준의 청각적 특징—예를 들어 리듬의 복잡성과 화성적 특성—을 사용하는 VGG 스타일의 깊은 신경망을 제안한다. 이는 모델의 해석 가능성(해석 가능성)을 향상시킨다. 예측 성능에 약간의 감소가 있었음에도 불구하고, 감정 예측을 인간이 이해할 수 있는 음악적 품질과 직접 연결함으로써 높은 해석 가능성을 달성하였으며, 이는 '해석 가능성의 비용'이 놀랍게 낮다는 것을 보여준다.

ABSTRACT

Emotional aspects play an important part in our interaction with music. However, modelling these aspects in MIR systems have been notoriously challenging since emotion is an inherently abstract and subjective experience, thus making it difficult to quantify or predict in the first place, and to make sense of the predictions in the next. In an attempt to create a model that can give a musically meaningful and intuitive explanation for its predictions, we propose a VGG-style deep neural network that learns to predict emotional characteristics of a musical piece together with (and based on) human-interpretable, mid-level perceptual features. We compare this to predicting emotion directly with an identical network that does not take into account the mid-level features and observe that the loss in predictive performance of going through the mid-level features is surprisingly low, on average. The design of our network allows us to visualize the effects of perceptual features on individual emotion predictions, and we argue that the small loss in performance in going through the mid-level features is justified by the gain in explainability of the predictions.

연구 동기 및 목표

• 음악 감정 인식(MER) 모델의 해석 가능성을 높이기 위해 음악적으로 의미 있는 중위 수준의 특징을 통합함으로써 도전 과제를 해결하기 위해.
• 중위 수준의 특징을 중간 단계로 사용할 경우 발생하는 성능 손실—즉, '해석 가능성의 비용'—을 정량화하기 위해.
• 추상적인 신경 활성화가 아닌, '긴장감'이나 '연주 방식'과 같은 청각적으로 직관적인 음악적 품질을 기반으로 모델 설명을 가능하게 하기 위해.
• 중위 수준의 특징과 감정 레이블을 함께 훈련시켜 전체 예측 성능을 향상시키고 MER를 개선하기 위해.
• 감정 기반 예측에 대한 인간이 읽을 수 있는 설명을 제공하는 음악 추천 및 검색 시스템을 위한 프레임워크를 제공하기 위해.

제안 방법

• VGG 스타일의 깊은 신경망이 사운드트랙스 데이터셋의 참조(annotation)를 기반으로 오디오에서 직접 중위 수준의 청각적 특징을 예측하도록 훈련된다.
• 두 번째 네트워크 아키텍처는 원시 오디오가 아닌 예측된 중위 수준의 특징에서 감정을 예측하도록 설계되어 해석 가능성을 보장한다.
• 모델은 중위 수준의 특징을 감정 점수로 매핑하기 위해 단일 완전 연결층을 사용하며, 이는 각 감정에 대해 특징 기여도를 직접 분석할 수 있도록 한다.
• 직접 감정 예측(오디오에서)과 간접 예측(중위 수준의 특징을 통해) 간의 성능을 비교하며, 손실는 예측 정확도의 차이로 측정된다.
• 일반화 및 예측 성능 향상을 위해 중위 수준의 특징과 감정 레이블을 함께 훈련시킨다.
• 특징 기여도는 박스플롯과 시냅스 분석을 사용해 시각화되며, 각 중위 수준의 특징이 개별 감정 예측에 어떻게 영향을 미치는지 보여준다.

실험 결과

연구 질문

• RQ1 중위 수준의 청각적 특징을 감정 예측의 중간 단계로 사용할 경우 발생하는 성능 손실은 얼마인가?
• RQ2 중위 수준의 특징에서 훈련된 딥 러닝 모델이 엔드 투 엔드 모델보다 더 해석 가능하고 음악적으로 의미 있는 감정 예측 설명을 제공할 수 있는가?
• RQ3 중위 수준의 특징과 감정 레이블을 함께 훈련시키는 것이 음악 감정 인식에서의 전체 예측 성능에 어떤 영향을 미치는가?
• RQ4 중위 수준의 특징인 '긴장감'이나 '연주 방식'과 같은 특징이 '공포'나 '에너지'와 같은 특정 감정 차원과 얼마나 관련이 깊은가?
• RQ5 모델이 인간의 음악적 품질 인식과 일치하는 곡 수준의 설명을 생성할 수 있는가?

주요 결과

• 중위 수준의 특징을 감정 예측의 중간 단계로 사용할 경우 발생하는 성능 손실은 평균적으로 매우 낮아, '해석 가능성의 비용'이 최소임을 확인한다.
• 모델은 '연주 방식'이 '에너지' 또는 '긴장감'과 연결되는 등, 각 중위 수준의 특징이 개별 감정 예측에 어떻게 기여하는지 직접 시각화함으로써 높은 해석 가능성을 달성한다.
• 곡 #322의 경우, '긴장감'이 높은 것은 주로 '음계의 어조성'과 '연주 방식'에 기인하며, '리듬적 안정성'은 이 효과를 상쇄시키는 것으로 나타나, 청각적으로 타당한 세밀한 설명을 제공한다.
• 중위 수준의 특징과 감정 레이블을 함께 훈련시키면, 각각의 작업을 별도로 훈련시키는 것보다 더 높은 예측 성능을 달성한다.
• 모델의 설명은 인간의 인식과 일치하며, 곡 #153과 #322의 예시에서 예측된 감정 프로파일이 애너테이션된 감정적 품질과 일치함을 보여준다.
• 두 번째 데이터셋(MIREX-유사 무드 데이터셋)에 대한 초보적 결과는 사운드트랙스 데이터셋에서 관찰된 일반적 경향을 확인하여, 이 방법의 강건성을 뒷받침한다.