[論文レビュー] Emotion Embedding Spaces for Matching Music to Stories

Minz Won, Justin Salamon+3 more|arXiv (Cornell University)|Nov 26, 2021

Music and Audio Processing参考文献 50被引用数 4

ひとこと要約

本稿では、感情埋め込み空間を用いて異種の感情語彙を橋渡しする、クロスモーダルなテキストから音楽への検索フレームワークを提案する。手動で定義された（価値・覚醒）およびデータ駆動型のアプローチ（Word2Vec、メトリクス学習）を組み合わせる。データ駆動型のメトリクス学習、特に三本のブランチを持つモデルが、価値・覚醒ベースラインと同等の性能を達成するとともに、感情の近接構造を保持し、多様な感情語彙への一般化を可能にすることが示された。

ABSTRACT

Content creators often use music to enhance their stories, as it can be a powerful tool to convey emotion. In this paper, our goal is to help creators find music to match the emotion of their story. We focus on text-based stories that can be auralized (e.g., books), use multiple sentences as input queries, and automatically retrieve matching music. We formalize this task as a cross-modal text-to-music retrieval problem. Both the music and text domains have existing datasets with emotion labels, but mismatched emotion vocabularies prevent us from using mood or emotion annotations directly for matching. To address this challenge, we propose and investigate several emotion embedding spaces, both manually defined (e.g., valence/arousal) and data-driven (e.g., Word2Vec and metric learning) to bridge this gap. Our experiments show that by leveraging these embedding spaces, we are able to successfully bridge the gap between modalities to facilitate cross modal retrieval. We show that our method can leverage the well established valence-arousal space, but that it can also achieve our goal via data-driven embedding spaces. By leveraging data-driven embeddings, our approach has the potential of being generalized to other retrieval tasks that require broader or completely different vocabularies.

研究の動機と目的

• 異なるモダリティ間で感情語彙が不一致であるにもかかわらず、共有される感情的コンテンツに基づいて音楽とテキストをマッチングする課題に対処すること。
• 長文のテキスト入力を伴う、感情ベースのテキストから音楽への検索をクロスモーダル検索問題として形式化すること。
• 有効なクロスモーダル整合性を達成するための、手作業で定義されたおよびデータ駆動型の両方の感情埋め込み空間戦略を評価・比較すること。
• 事前に定義された感情空間を超えて一般化できる手法を開発し、新しいまたは多様な感情語彙への応用を可能にすること。

提案手法

• 分類、マルチヘッド分類、価値・覚醒回帰、Word2Vec回帰、二本のブランチを用いたメトリクス学習、三本のブランチを用いたメトリクス学習の6つのディープラーニング戦略を提案する。
• 事前学習済みのテキストエンコーダ（例：BERTに類似したモデル）および音声エンコーダ（例：メルスペクトログ램に適用されるCNN）を用い、テキストと音楽を共有される感情空間に埋め込む。
• 高次元埋め込み空間の構造的性質（例：近接性の保持）を分析するため、UMAPを用いて2次元可視化を行う。
• 三本のブランチを用いたメトリクス学習により、テキスト、音楽、および感情タグを同時に埋め込み、各モダリティ内での感情的近接性を保持する共有空間を学習する。
• 複数のデータセット（Almのテキスト/感情およびAudioSetの音楽/感情）を用い、精度の上位5件（P@5）および平均逆順位（mRR）を評価指標として用いる。
• 不均衡な感情分布に対するロバストネスとパフォーマンス向上を図るため、音声感情タグ付けにおいて転移学習とフォーカル損失を活用する。

実験結果

リサーチクエスチョン

• RQ1 不一致な感情語彙があるにもかかわらず、効果的に共有される感情埋め込み空間を学習し、クロスモーダルなテキストから音楽への検索を可能にできるか？
• RQ2 データ駆動型の埋め込み空間（例：Word2Vec、メトリクス学習）と手動で定義された空間（例：価値・覚醒）を比較した場合、検索性能および一般化能力においてどのような差異が生じるか？
• RQ3 三本のブランチを用いたメトリクス学習モデルは、他の手法と比較して、各モダリティ内での感情の近接構造をどの程度保持しているか？
• RQ4 提案手法は、学習時に使用された語彙とは広範またはまったく異なる感情語彙を有する検索タスクにも一般化可能か？

主な発見

• 価値・覚醒空間は、感情的次元に基づいてテキストと音楽を効果的に統合する強力なベースラインを提供する。
• 三本のブランチを用いたメトリクス学習モデルは、価値・覚醒ベースラインと同等の検索性能を達成するとともに、データ駆動型で一般化可能な埋め込み空間を学習する。
• 三本のブランチモデルは、各モダリティ内での近接構造（意味的に類似した感情が埋め込み空間でクラスタを形成する）を保持するが、一方でワンウェイまたは二本のブランチモデルではその構造的関係が損なわれる。
• Word2Vec回帰は判別性の高い埋め込みを生成するが、連続性に欠ける。一方、二本のブランチを用いたメトリクス学習は、モダリティ固有の監視が不足しているため、構造的関係を保持できない。
• 提案手法は、事前に定義された感情空間を超えて一般化可能であり、手動によるマッピングを必要とせず、新しいまたは多様な感情語彙への応用が可能である。
• 定性的な分析により、感情的に類似した雰囲気（例：'怖い'と'恐ろしい'）が、特に三本のブランチを用いたメトリクス学習モデルでは、学習済みの埋め込み空間内で空間的に近接していることが確認された。