[논문 리뷰] Exploiting Synchronized Lyrics And Vocal Features For Music Emotion Detection

Loreto Parisi, Simone Francia외 2명|arXiv (Cornell University)|2019. 01. 15.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 시간적으로 정렬된 가사와 보컬 특징을 활용하여 음악 정서 인식을 위한 새로운 접근법을 제안하고, 동기화된 가사 정서 데이터셋을 소개한다. 보컬 분離를 위해 Wave-U-Net을 사용하고, 텍스트 및 오디오에서 딥러닝 모델을 비교한 결과, 오직 보컬 트랙만을 사용할 경우 오디오 기반 정서 분류 정확도가 4%p 향상되었으며, fastText 임베딩을 사용한 Bilinear LSTM 모델이 가사 기반 분류에서 CNN보다 뛰어난 성능을 보였다.

ABSTRACT

One of the key points in music recommendation is authoring engaging playlists according to sentiment and emotions. While previous works were mostly based on audio for music discovery and playlists generation, we take advantage of our synchronized lyrics dataset to combine text representations and music features in a novel way; we therefore introduce the Synchronized Lyrics Emotion Dataset. Unlike other approaches that randomly exploited the audio samples and the whole text, our data is split according to the temporal information provided by the synchronization between lyrics and audio. This work shows a comparison between text-based and audio-based deep learning classification models using different techniques from Natural Language Processing and Music Information Retrieval domains. From the experiments on audio we conclude that using vocals only, instead of the whole audio data improves the overall performances of the audio classifier. In the lyrics experiments we exploit the state-of-the-art word representations applied to the main Deep Learning architectures available in literature. In our benchmarks the results show how the Bilinear LSTM classifier with Attention based on fastText word embedding performs better than the CNN applied on audio.

연구 동기 및 목표

• 음악 정서 인식을 향상시키기 위해 가사 세그먼트를 해당 오디오 타임스탬프와 동기화시킨 새로운 데이터셋을 개발하기.
• 오디오 또는 텍스트를 별도로 사용하는 것보다 가사와 보컬 특징을 조합함으로써 정서 분류 성능이 향상되는지 조사하기.
• 정서 분류 성능에 대해 오직 보컬 트랙을 사용하는 것과 전체 오디오 믹스를 사용하는 것의 영향 평가하기.
• 가사 기반 정서 분류를 위한 다양한 단어 임베딩 기법과 딥러닝 아키텍처 비교하기.
• BERT 및 ELMo와 같은 문맥 임베딩 기법이 음악 정서 인식 맥락에서 효과적인지 탐색하기.

제안 방법

• 가사 세그먼트를 해당 오디오 타임스탬프와 동기화하고 정서 레이블을 할당하여 Synchronized Lyrics Emotion Dataset를 구축함.
• 혼합 오디오에서 보컬 트랙을 분리하기 위해 Wave-U-Net을 적용하여 분류에 사용할 수 있는 보컬 전용 입력 확보.
• 혼합 오디오 및 고립된 보컬 트랙에서 유도된 멜스펙트로그램을 기반으로 CNN을 훈련하여 오디오 기반 정서 분류 수행.
• 다양한 단어 임베딩 기법—fastText, ELMo, BERT—을 사용하여 딥러닝 모델(LSTM, BiLSTM, CNN)과 조합하여 가사 기반 정서 분류 수행.
• 정서 레이블 분포의 클래스 불균형을 해결하기 위해 훈련 중 샘플 가중치를 적용함.
• 정밀도, 재현율, F1-score를 사용하여 모델 평가하고, 혼동 행렬을 통해 각 클래스별 성능 분석 수행.

실험 결과

연구 질문

• RQ1 혼합 오디오 믹스 대비 오직 보컬 트랙만을 사용할 경우 음악 정서 인식 성능 향상이 이루어지는가?
• RQ2 가사 기반 정서 분류에서 가장 높은 성능을 보이는 단어 임베딩 기법은 fastText, ELMo, BERT 중 어느 것인가?
• RQ3 LSTM, CNN, Bilinear LSTM와 같은 다양한 딥러닝 아키텍처는 가사에서 정서를 분류하는 데 어떻게 비교되는가?
• RQ4 BERT와 같은 문맥 임베딩 기법은 음악 가사 기반 정서 인식에 효과적으로 적용될 수 있는가, 아니면 이 작업에 대해 성능이 열등한가?
• RQ5 가사와 오디오 간의 동기화가 정서 인식 모델의 시간적 정렬 및 성능 향상에 어떻게 기여하는가?

주요 결과

• CNN에 오직 보컬 트랙을 입력으로 사용함으로써 전체 F1-score가 혼합 오디오일 경우 32%에서 보컬 전용일 경우 36%로 향상되어 뚜렷한 성능 향상이 확인됨.
• fastText 단어 임베딩을 사용한 Bilinear LSTM 분류기가 모든 가사 기반 모델 중에서 가장 높은 F1-score 기록하며 CNN을 능가함.
• 슬픔 감정의 정밀도, 재현율, F1-score가 모든 감정 클래스에서 가장 높았으며, 혼합 오디오 실험에선 F1이 41.12%로, 보컬 전용 실험에선 42.12%로 측정됨.
• BERT 기반 모델은 fastText 및 ELMo에 비해 성능이 열등하여, 이 특정 음악 정서 인식 작업에 대해 문맥 임베딩 기법이 아직 최적화되지 않았을 수 있음.
• 혼동 행렬 분석 결과, 분노와 공포 감정이 가장 잘못 분류되었으며, 특히 혼합 오디오 설정에서 정밀도 및 재현율 값이 낮음.
• 데이터셋은 심각한 클래스 불균형을 보였으며, 슬픔 감정이 43.9%의 샘플에 포함되었고, 혐오 감정은 오직 2.1%에 불과하여 훈련에서 제외됨.