[논문 리뷰] A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content

Aniruddha Bhattacharya, K. V. Kadambari|arXiv (Cornell University)|2018. 10. 10.

Music and Audio Processing참고 문헌 18인용 수 6

한 줄 요약

이 논문은 음성(멜스펙트로그램)과 가사(100차원 단어 임베딩) 모odalities를 융합하는 딥 컨volution 네트워크인 MoodNet을 제안한다. 음성과 가사의 융합은 단일 모달리티 입력보다 성능을 높이며, 특히 가사가 음성보다 더 정보가 풍부하다는 점을 입증한다. 평가 지표로 F1-score를 사용하여 MIREX Multimodal 데이터셋에서 76.34%의 성능을 기록했고, Million Song Dataset에서는 69.73%의 성능을 기록하였다.

ABSTRACT

We propose MoodNet - A Deep Convolutional Neural Network based architecture to effectively predict the emotion associated with a piece of music given its audio and lyrical content.We evaluate different architectures consisting of varying number of two-dimensional convolutional and subsampling layers,followed by dense layers.We use Mel-Spectrograms to represent the audio content and word embeddings-specifically 100 dimensional word vectors, to represent the textual content represented by the lyrics.We feed input data from both modalities to our MoodNet architecture.The output from both the modalities are then fused as a fully connected layer and softmax classfier is used to predict the category of emotion.Using F1-score as our metric,our results show excellent performance of MoodNet over the two datasets we experimented on-The MIREX Multimodal dataset and the Million Song Dataset.Our experiments reflect the hypothesis that more complex models perform better with more training data.We also observe that lyrics outperform audio as a better expressed modality and conclude that combining and using features from multiple modalities for prediction tasks result in superior performance in comparison to using a single modality as input.

연구 동기 및 목표

• 음성과 가사 콘텐츠를 동시에 활용하여 음악 감정을 효과적으로 인식하는 딥 러닝 모델을 개발하는 것.
• 음성과 가사의 다중 모달리티 융합이 단일 모달리티 접근 방식보다 감정 인식 성능을 향상시키는지 평가하는 것.
• 감정 예측에서 음성(멜스펙트로그램)과 가사(단어 임베딩) 모달리티의 상대적 기여도를 조사하는 것.
• 더 깊은 아키텍처와 더 많은 훈련 데이터가 음악 감정 인식 성능 향상에 기여하는지 검증하는 것.

제안 방법

• 음성 입력은 멜스펙트로그램으로 표현되며, 이는 계층적인 음성 특징을 추출하기 위해 2D 컨volution 신경망에 입력된다.
• 가사 콘텐츠는 사전에 학습된 벡터 표현을 사용하여 100차원의 단어 임베딩으로 변환되어 의미를 포괄한다.
• 음성과 텍스트 입력을 각각 처리하는 두 개의 별도한 2D CNN 브랜치가 있으며, 컨볼루션 및 풀링 레이어를 통해 모달리티 특징을 학습한다.
• 양 모달리티의 특징 맵은 하나의 벡터로 연결된 후, 완전 연결 레이어와 소프트맥스 분류기로 전달되어 감정 카테고리 예측을 수행한다.
• 모델은 교차 엔트로피 손실를 사용하여 훈련되며, 역전파를 통해 최적화되며, 주요 평가 지표로 F1-score를 사용한다.
• 깊이가 다른 다양한 아키텍처(MoodNet-3, MoodNet-4, MoodNet-5)를 평가하여 네트워크 깊이가 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 음성과 가사 모달리티를 융합하면 단일 모달리티를 사용하는 것보다 음악 감정 인식 성능이 향상되는가?
• RQ2 음성과 가사 중 어떤 모달리티가 감정 예측에 더 구분력 있는 정보를 제공하는가?
• RQ3 모델의 깊이(컨볼루션 레이어 수)는 음악 감정 인식 작업 성능에 어떤 영향을 미치는가?
• RQ4 더 많은 훈련 데이터는 다중 모달리티 음악 감정 인식 성능 향상에 기여하는가?

주요 결과

• MoodNet는 MIREX Multimodal 데이터셋에서 F1-score 76.34%를 기록하여 단일 모달리티 기반 모델을 능가했다.
• Million Song Dataset에서는 F1-score 69.73%를 기록하여 다양한 데이터에 대한 강력한 일반화 능력을 입증했다.
• 가사 콘텐츠만으로도 음성만으로 사용할 경우보다 성능이 뛰어나, MSD에서 F1-score 64.79%를 기록했고, 음성 전용일 경우 58.34%였다.
• 두 모달리티의 융합이 가장 높은 성능을 기록하여 MSD에서 F1-score 69.73%를 달성했으며, 이는 다중 모달리티 통합의 이점을 확인한다.
• 충분한 훈련 데이터가 있는 경우 더 깊은 네트워크가 더 나은 성능을 내는 가설을 지지하는 결과로, 다양한 아키텍처에서 성능 향상이 관찰되었다.
• 연구 결과는 가사가 음성보다 감정 인식에 더 표현력이 뛰어나다는 점을 확인하였으며, 이는 가사의 의미적 풍부성 때문일 것이다.