[논문 리뷰] Emotion Embedding Spaces for Matching Music to Stories

Minz Won, Justin Salamon외 3명|arXiv (Cornell University)|2021. 11. 26.

Music and Audio Processing참고 문헌 50인용 수 4

한 줄 요약

이 논문은 정성 임베딩 공간을 활용해 이질적인 정서 어휘를 연결함으로써 교차 모odal 텍스트-음악 검색 프레임워크를 제안한다. 수동으로 정의된(편차-흥분도) 및 데이터 기반 접근법(Word2Vec, 거리 기반 학습)을 결합하여, 데이터 기반의 거리 기반 학습—특히 삼중 분지 모델—이 편차-흥진도 기반 베이스라인과 유사한 성능을 달성함과 동시에 정서적 이웃 구조를 유지하고 다양한 정서 어휘로의 일반화를 가능하게 함을 보여준다.

ABSTRACT

Content creators often use music to enhance their stories, as it can be a powerful tool to convey emotion. In this paper, our goal is to help creators find music to match the emotion of their story. We focus on text-based stories that can be auralized (e.g., books), use multiple sentences as input queries, and automatically retrieve matching music. We formalize this task as a cross-modal text-to-music retrieval problem. Both the music and text domains have existing datasets with emotion labels, but mismatched emotion vocabularies prevent us from using mood or emotion annotations directly for matching. To address this challenge, we propose and investigate several emotion embedding spaces, both manually defined (e.g., valence/arousal) and data-driven (e.g., Word2Vec and metric learning) to bridge this gap. Our experiments show that by leveraging these embedding spaces, we are able to successfully bridge the gap between modalities to facilitate cross modal retrieval. We show that our method can leverage the well established valence-arousal space, but that it can also achieve our goal via data-driven embedding spaces. By leveraging data-driven embeddings, our approach has the potential of being generalized to other retrieval tasks that require broader or completely different vocabularies.

연구 동기 및 목표

• 다양한 모odal 간 정서 어휘의 불일치에도 불구하고 공통된 정서적 내용을 기반으로 음악과 텍스트를 매칭하는 과제를 해결하기 위해.
• 장문의 텍스트 입력을 가진 정서 기반 텍스트-음악 검색을 교차 모달 검색 문제로 공식화하기 위해.
• 효과적인 교차 모달 정렬을 위한 수동으로 정의된 전략과 데이터 기반 전략을 포함한 다양한 정서 임베딩 공간 전략을 평가하고 비교하기 위해.
• 사전에 정의된 정서 공간을 초월하는 일반화 능력을 갖춘 방법을 개발하여, 다양한 또는 새로운 정서 어휘에 적용 가능하게 하기 위해.

제안 방법

• 분류, 다중 헤드 분류, 편차-흥진도 회귀, Word2Vec 회귀, 이중 분지 거리 기반 학습, 삼중 분지 거리 기반 학습을 포함한 6가지 딥러닝 전략을 제안한다.
• 텍스트 및 음악을 공통의 정서 공간에 통합하기 위해 사전 학습된 텍스트 인코더(예: BERT 유사 모델)와 오디오 인코더(예: 멜스펙트로그램 기반 CNN)를 사용한다.
• 고차원 임베딩 공간의 구조적 특성(예: 이웃 보존)을 분석하기 위해 UMAP를 사용해 2차원 시각화를 수행한다.
• 텍스트, 음악, 정서 태그를 공동으로 임베딩하는 삼중 분지 거리 기반 학습을 적용하여, 각 모달 간 정서적 근접성을 유지하는 공통 공간을 학습한다.
• 다양한 데이터셋(예: Alm의 텍스트/정서 및 AudioSet의 음악/정서)에서 정밀도@다섯(P@5)과 평균 역수 순위(mRR)를 평가 지표로 사용한다.
• 불균형한 정서 분포에 대응하기 위해 오디오 정서 태깅에서 전이 학습과 포칼 손실을 활용해 정확도와 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 불일치하는 정서 어휘가 존재하는 상황에서도 교차 모달 텍스트-음악 검색을 가능하게 하기 위해 공통의 정서 임베딩 공간을 효과적으로 학습할 수 있는가?
• RQ2 데이터 기반 임베딩 공간(예: Word2Vec, 거리 기반 학습)과 수동으로 정의된 공간(예: 편차-흥진도) 간의 검색 성능 및 일반화 능력에서 어떤 차이가 있는가?
• RQ3 삼중 분지 거리 기반 학습 모델은 다른 방법에 비해 각 모달 내 정서의 이웃 구조를 어느 정도 유지하는가?
• RQ4 제안된 방법은 학습에 사용된 정서 어휘와 다를 바 있는 더 넓은 또는 완전히 다른 정서 어휘를 가진 검색 작업으로 일반화될 수 있는가?

주요 결과

• 편차-흥진도 공간은 교차 모달 검색의 강력한 베이스라인으로 기능하며, 정서 차원을 기반으로 텍스트와 음악을 성공적으로 정렬한다.
• 삼중 분지 거리 기반 학습 모델은 편차-흥진도 기반 베이스라인과 유사한 검색 성능을 달성하면서도 데이터 기반의 일반화 가능한 임베딩 공간을 학습한다.
• 삼중 분지 모델은 각 모달 내에서 유사한 의미를 가진 정서들이 임베딩 공간 내에서 군집화되는 구조적 이웃 보존을 유지한다. 이는 단일 또는 이중 분지 모델과는 대조적이다.
• Word2Vec 회귀는 분류 능력은 뛰어나지만 연속성이 떨어지며, 이중 분지 거리 기반 학습은 모달 전용 감독 정보가 부족해 구조적 관계를 유지하지 못한다.
• 제안된 방법은 사전 정의된 정서 공간을 초월하여, 수동 매핑이 필요 없이 새로운 또는 다양한 정서 어휘에 적용 가능한 일반화 능력을 갖춘다.
• 정성 분석 결과, 유사한 정서(예: '공포'와 '두려움')가 학습된 임베딩 공간 내에서 공간적으로 가까이 위치해 있으며, 특히 삼중 분지 거리 기반 학습 모델에서 두드러진다.