[논문 리뷰] Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space

Sicheng Zhao, Yaxian Li외 5명|arXiv (Cornell University)|2020. 08. 22.

Music and Audio Processing참고 문헌 87인용 수 4

한 줄 요약

이 논문은 연속적인 Valence-Arousal (VA) 공간에서 감정 기반 이미지 및 음악 매칭을 위한 새로운 엔드 투 엔드 프레임워크인 Cross-Modal Deep Continuous Metric Learning (CDCML)을 제안한다. 공유된 임bedding 공간에서 교차 모odal 유사성과 단일 모달 VA 감정 관계를 동시에 최적화함으로써, 140,000개 이상의 이미지-음악 쌍을 포함하는 새로운 대규모 데이터셋 IMEMNET에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기존 방법 대비 MSE에서 22.1% 상대적 향상과 MAE에서 5.4% 향상을 기록하였다.

ABSTRACT

Both images and music can convey rich semantics and are widely used to induce specific emotions. Matching images and music with similar emotions might help to make emotion perceptions more vivid and stronger. Existing emotion-based image and music matching methods either employ limited categorical emotion states which cannot well reflect the complexity and subtlety of emotions, or train the matching model using an impractical multi-stage pipeline. In this paper, we study end-to-end matching between image and music based on emotions in the continuous valence-arousal (VA) space. First, we construct a large-scale dataset, termed Image-Music-Emotion-Matching-Net (IMEMNet), with over 140K image-music pairs. Second, we propose cross-modal deep continuous metric learning (CDCML) to learn a shared latent embedding space which preserves the cross-modal similarity relationship in the continuous matching space. Finally, we refine the embedding space by further preserving the single-modal emotion relationship in the VA spaces of both images and music. The metric learning in the embedding space and task regression in the label space are jointly optimized for both cross-modal matching and single-modal VA prediction. The extensive experiments conducted on IMEMNet demonstrate the superiority of CDCML for emotion-based image and music matching as compared to the state-of-the-art approaches.

연구 동기 및 목표

• 기존의 감정 기반 이미지 및 음악 매칭 방법들이 굵은 분류 기반 감정 레이블과 다단계 파ip라인에 의존하는 한계를 해결하기 위해.
• 공유된 잠재 임베딩 공간에서 교차 모달 유사성과 단일 모달 감정 관계를 모두 유지하는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 연속적인 Valence-Arousal (VA) 감정 레이블이 부여된 140,000개 이상의 이미지-음악 쌍을 포함하는 대규모 공개 데이터셋 IMEMNET를 구축하기 위해.
• 공유된 임베딩 공간에서의 메트릭 학습과 레이블 공간에서의 회귀를 동시에 최적화하여 교차 모달 매칭 및 단일 모달 VA 예측을 모두 향상시키기 위해.
• 교차 모달 및 단일 모달 공간에서 감정 관계를 유지함으로써 일반화 능력과 성능 향상이 가능하다는 것을 입증하기 위해.

제안 방법

• 연속적인 Valence-Arousal (VA) 감정 레이블이 부여된 140,000개의 이미지-음악 쌍을 포함하는 대규모 데이터셋 IMEMNET를 구축한다.
• 교차 모달 유사성과 단일 모달 VA 감정 관계를 동시에 최적화하는 다중 작업 학습 프레임워크인 Cross-Modal Deep Continuous Metric Learning (CDCML)을 제안한다.
• 이미지와 음악을 공유된 잠재 공간에 통합하기 위해 공유된 시아모이드 유사 네트워크 아키텍처를 사용하며, MSE, 특징 비율, 특징 마진 손실을 통해 교차 모달 유사성을 유지한다.
• 임베딩 공간에 대해 VA MSE 손실과 단일 모달 특징 비율 손실을 적용하여 단일 모달 감정 관계를 유지함으로써 단일 모달 감정보조를 통합한다.
• 공유된 임베딩에서 동시에 매칭 유사성과 연속적인 VA 값을 예측하기 위해 다중 작업 헤드를 활용한다.
• 교차 모달 및 단일 모달 감정보조를 통합한 복합 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 공유된 임베딩 공간에서의 엔드 투 엔드 학습이 다단계 파이프라인에 비해 감정 기반 이미지 및 음악 매칭 성능을 향상시키는가?
• RQ2 교차 모달 및 단일 모달 공간에서 연속적인 Valence-Arousal (VA) 감정 관계를 유지함으로써 매칭 성능 향상이 이루어지는가?
• RQ3 매칭 유사성과 VA 예측의 공동 최적화가 일반화 능력과 강건성 향상에 얼마나 기여하는가?
• RQ4 연속적인 VA 감정보조가 학습된 임베딩의 분류 능력에 어떤 영향을 미치는가?
• RQ5 IMEMNET와 같은 대규모 공개 데이터셋이 감정 기반 이미지-음악 매칭 모델의 공정하고 재현 가능한 벤치마킹을 가능하게 하는가?

주요 결과

• CDCML는 기존 최고의 방법인 ACP-Net 대비 매칭 유사성 예측에서 평균 제곱오차(MSE) 기준 22.1% 상대적 향상을 달성하였다.
• 유사성 예측에서 평균 절대오차(MAE) 기준 5.4% 상대적 향상으로, 더 뛰어난 회귀 성능을 입증하였다.
• 교차 모달 특징 비율 손실의 포함으로 매칭 유사성 예측 및 단일 모달 VA 예측 성능이 모두 향상되었으며, 이는 향상된 특징 분류 능력을 시사한다.
• 단일 모달 VA MSE 및 특징 비율 손실을 추가로 적용함으로써 성능이 더욱 향상되었으며, 특히 VA 예측 성능 향상에서 단일 모달 감정 구조의 중요성을 확인하였다.
• 정성적 시각화 결과, CDCML는 슬픈 음악과 우울한 이미지를 유사한 연속적인 VA 감정으로 성공적으로 매칭하는 것으로 나타났다.
• 제거 실험 결과, 교차 모달 및 단일 모달 감정보조의 공동 최적화가 개별 손실을 사용하는 것보다 더 나은 일반화 능력을 제공함을 확인하였다.