[논문 리뷰] Music Mood Detection Based On Audio And Lyrics With Deep Neural Net

Rémi Delbouys, Romain Hennequin외 3명|arXiv (Cornell University)|2018. 09. 19.

Music and Audio Processing참고 문헌 21인용 수 31

한 줄 요약

이 논문은 음악 분위기 검출을 위한 딥러닝 기반 다중모달 접근법을 제안하며, 음성과 가사 양측을 사용하여 자극도 예측에서 전통적인 특징 엔지니어링 방법을 능가하고, 정서도 예측에서는 그 성능을 유지한다. 주요 기여는 음성과 가사 모달 간의 조기 상호모달 상관관계를 포착할 수 있는 중위수 융합(mid-level fusion)이 정서도 검출을 크게 향상시킨다는 것을 입증한 것이다. 이는 후기 융합 또는 단모달 모델로는 달성할 수 없는 것이다.

ABSTRACT

1.1 Related work We consider the task of multimodal music mood prediction based on the audio signal and the lyrics of a track. We reproduce the implementation of traditional feature engineering based approaches and propose a new model based on deep learning. We compare the performance of both approaches on a database containing 18,000 tracks with associated valence and arousal values and show that our approach outperforms classical models on the arousal detection task, and that both approaches perform equally on the valence prediction task. We also compare the a posteriori fusion with fusion of modalities optimized simultaneously with each unimodal model, and observe a significant improvement of valence prediction. We release part of our database for comparison purposes.

연구 동기 및 목표

• 딥러닝 기반 다중모달 음악 분위기 검출을 전통적인 특징 엔지니어링 접근법과 비교한다.
• 음성과 가사 모달을 융합하는 데 있어 조기(중위수) 융합과 후기 융합의 효과성을 평가한다.
• 딥러닝 모델이 연속적인 정서도 및 자극도 차원을 예측하는 데 있어 고전적 방법을 능가할 수 있는지 조사한다.
• 기준 측정을 위해 18,000개의 트랙으로 구성된 대규모 데이터셋을 공개한다. 이 데이터셋에는 정서도와 자극도 애너테이션이 포함되어 있다.
• 특히 정서도 대비 자극도에 대해 음성과 가사의 상호보완적 역할을 탐구한다.

제안 방법

• 저자는 음성(메르-주파수 세프스트럼 계수(Mel-Frequency Cepstral Coefficients) 사용)과 가사(단어 임베딩 사용)에 대해 별도의 딥 네ural 네트워크를 훈련시어 정서도와 자극도를 예측한다.
• 중위수 융합 전략을 구현하기 위해 양측 단모달 네트워크의 고수준 특징을 결합한 후 최종 회귀 레이어에 입력한다.
• 비교를 위해 후기 융합도 적용하여 별도의 단모달 모델 예측값을 평균화한다.
• 모델은 음성 및 텍스트 시퀀스의 시간적 의존성을 포착하기 위해 완전 연결층과 양방향 LSTM 레이어를 사용한다.
• 성능 평가는 백터라이즈된 18,000개 트랙으로 구성된 커스터마이즈된 데이터셋에서 회귀 지표를 사용하여 평가한다. 이 데이터셋은 밀리언 송 데이터셋과 디저 커탈로그에서 유래되었다.
• 저자는 전통적 특징(MFCCs, SVM, GMMs 등)을 사용한 고전적 모델과 본 연구의 접근법을 비교한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 다중모달 접근법이 음악 분위기 검출에서 고전적 특징 엔지니어링 방법을 능가하는가?
• RQ2 음성과 가사 특징의 중위수 융합이 후기 융합 또는 단모달 예측보다 정서도 및 자극도 추정에 더 효과적인가?
• RQ3 어느 모달—음성 또는 가사—가 자극도 예측에 더 크게 기여하는가?
• RQ4 엔드 투 엔드 딥러닝 모델이 전문가가 설계한 음성 또는 텍스트 특징 없이도 수작업 특징에 비해 유사하거나 더 나은 성능을 낼 수 있는가?
• RQ5 상호모달 상관관계는 분위기 검출 향상에 어떤 역할을 하는가? 그리고 중위수 융합을 통해 효과적으로 포착될 수 있는가?

주요 결과

• 딥러닝 기반 모델은 자극도 검출에서 고전적 방법을 능가하며, 이는 엔드 투 엔드 학습이 더 효과적인 음성 표현을 포착함을 시사한다.
• 정서도 예측에서는 딥러닝과 고전적 방법이 유사한 성능을 보이며, 적절히 튜닝된 경우 양쪽 모두 효과적임을 시사한다.
• 중위수 융합은 후기 융합 대비 정서도 예측 성능을 크게 향상시키며, 이는 조기 상호모달 정보 통합이 성능 향상에 기여함을 나타낸다.
• 음성 특징은 자극도 예측에 매우 예측력이 높으며, 정서도 최적 검출을 위해서는 양 모달이 모두 필요함을 시사하며, 이는 상호보완적 성격을 띤다.
• 가사 기반 모델은 단독으로 자극도 예측에 성능이 떨어지지만, 중위수 융합을 통해 음성과 조합될 경우 정서도 예측에 의미 있는 기여를 한다.
• 본 연구는 딥러닝 모델이 음성과 가사 간의 중위수 상관관계를 효과적으로 학습할 수 있음을 입증하며, 이는 정확한 정서도 추정에 핵심적인 역할을 한다.