[論文レビュー] Contrastive Audio-Language Learning for Music

Ilaria Manco, Emmanouil Benetos+2 more|arXiv (Cornell University)|Aug 25, 2022

Music and Audio Processing被引用数 9

ひとこと要約

MusCALLは、音楽の音声と自然言語の記述を対照的に学習するためのフレームワークを提案する。二重エンコーダー構造を用いて音声と自然言語を統合し、ゼロショットのテキストから音声、音声からテキストへの検索を可能にする。リtrievalタスクで最先端の性能を達成し、ジャンル分類やオートタギングといったゼロショットタスクへの一般化も効果的である。

ABSTRACT

As one of the most intuitive interfaces known to humans, natural language has the potential to mediate many tasks that involve human-computer interaction, especially in application-focused fields like Music Information Retrieval. In this work, we explore cross-modal learning in an attempt to bridge audio and language in the music domain. To this end, we propose MusCALL, a framework for Music Contrastive Audio-Language Learning. Our approach consists of a dual-encoder architecture that learns the alignment between pairs of music audio and descriptive sentences, producing multimodal embeddings that can be used for text-to-audio and audio-to-text retrieval out-of-the-box. Thanks to this property, MusCALL can be transferred to virtually any task that can be cast as text-based retrieval. Our experiments show that our method performs significantly better than the baselines at retrieving audio that matches a textual description and, conversely, text that matches an audio query. We also demonstrate that the multimodal alignment capability of our model can be successfully extended to the zero-shot transfer scenario for genre classification and auto-tagging on two public datasets.

研究の動機と目的

• 自然言語ベースの音楽検索を可能にすることで、音楽情報検索における意味的ギャップを埋めること。
• 音楽音声と記述的テキストの間でクロスモodalなアライメントを実現するスケーラブルな二重エンコーダー枠組みを開発すること。
• テキストラベルを用いて微調整なしに、ジャンル分類やオートタギングなどの下流MIRタスクへのゼロショット転送を可能にすること。
• データ拡張、損失重み付け、アテンションプーリングの影響がリtrieval性能に与える影響を評価すること。
• 実世界のシナリオにおいて、自由形式の言語クエリを用いた音楽検索の実現可能性を示すこと。

提案手法

• MusCALLは、音声とテキストを別々のエンコーダーで独立して符号化し、共通のマルチモーダル埋め込みを生成する二重エンコーダー構造を採用する。
• 対照的学習を用いて、一致する（ポジティブ）音声-テキストペア間の類似度を最大化し、非一致ペア（ネガティブ）間の類似度を最小化する。
• 訓練中の耐性および一般化性を向上させるために、ランダムクロッピングおよび音声変換によるデータ拡張を適用する。
• アテンションプールを用いて音声埋め込みから長距離の構造的依存関係をよりよく捉える。
• 分類タスクやオートタギングタスクへのゼロショット転送を可能にするために、推論時にクラスラベルをテキストプロンプトとして使用する。

実験結果

リサーチクエスチョン

• RQ1 対照的音声言語学習は、自由形式の自然言語記述と音楽音声を、クロスモーダル検索のために効果的にアライメントさせることができるか？
• RQ2 データ拡張および損失重み付け戦略は、MusCALLにおける音声-テキスト検索性能にどのように影響するか？
• RQ3 MusCALLは、ジャンル分類やオートタギングといったゼロショット下流タスクにどの程度一般化できるか？
• RQ4 アテンションプールは、平均プールと比較して、特に長時間の音声入力において、リtrieval性能を向上させるか？
• RQ5 MusCALLは、テキストから音声および音声からテキストの両方の検索ベンチマークで、既存のベースラインを上回ることができるか？

主な発見

• MusCALLは、フル構成を用いたテキストから音声への検索でmAP 25.9%を達成し、ベースライン手法を顕著に上回った。
• ランダムクロッピングが最も寄与しており、これを削除するとmAPが13.7%低下した。一方、音声拡張は小さいが明確な影響を示した。
• アテンションプールの導入により、平均プールと比較して平均で4.9%の性能向上が得られ、特に長時間の音声入力において顕著に効果的であった。
• 損失重み付けにより、ポジティブペアの類似度の分布が改善され、分散が低減し、平均類似度が向上したが、mAPに顕著な向上は見られなかった。
• MusCALLはゼロショットタスクへの一般化が効果的であり、微調整なしにジャンル分類およびオートタギングタスクで競争力のある性能を達成した。
• 定性的な分析から、失敗事例でさえも意味的に関連するトラックを検索しており、意味的変動に対して高い耐性を示していることがわかった。