[論文レビュー] MuLan: A Joint Embedding of Music Audio and Natural Language

Qingqing Huang, Aren Jansen+4 more|arXiv (Cornell University)|Aug 26, 2022

Music and Audio Processing被引用数 31

ひとこと要約

MuLanは、44Mの音楽クリップを用いて音声と自然言語の埋め込み空間を共有する二塔式（ツー タワー）音声-テキスト埋め込みモデルを訓練し、制約のない自然言語と音楽オーディオを結び付け、ゼロショットタグ付けとクロスモーダル検索を可能にします。高い転移学習性能を達成しつつ、音楽オーディオへの自然言語インターフェースを提供します。

ABSTRACT

Music tagging and content-based retrieval systems have traditionally been constructed using pre-defined ontologies covering a rigid set of music attributes or text queries. This paper presents MuLan: a first attempt at a new generation of acoustic models that link music audio directly to unconstrained natural language music descriptions. MuLan takes the form of a two-tower, joint audio-text embedding model trained using 44 million music recordings (370K hours) and weakly-associated, free-form text annotations. Through its compatibility with a wide range of music genres and text styles (including conventional music tags), the resulting audio-text representation subsumes existing ontologies while graduating to true zero-shot functionalities. We demonstrate the versatility of the MuLan embeddings with a range of experiments including transfer learning, zero-shot music tagging, language understanding in the music domain, and cross-modal retrieval applications.

研究の動機と目的

• 音声とテキストを共有する埋め込み空間を学習することにより、音楽オーディオの柔軟な自然言語インターフェースを作成する。
• 大規模な弱く関連付けられたテキスト注釈を活用してクロスモーダル表現を訓練する。
• 学習済み埋め込みを介してゼロショットタグ付け、音楽における言語理解、クロスモーダル検索を実証する。
• 標準的な音楽タグ付けベンチマークで音声エンコーダの転移学習性能を評価する。
• クロスモーダル学習における多様なテキストソース（短文形式、長文形式、プレイリスト、ASET）の影響を探る。

提案手法

• Two-tower architecture with separate audio and text encoders producing l2-normalized embeddings of dimension d=128.
• Audio encoder: ResNet-50 or Audio Spectrogram Transformer (AST) operating on 10-second log-mel spectrogram windows with SpecAugment.
• Text encoder: BERT-base-uncased producing CLS-token embedding projected to the shared space.
• Training objective: Contrastive Multiview Coding loss (cross-modal InfoNCE/NT-Xent) using cosine similarity with a trainable temperature tau.
• Training data: ~44 million 30-second music clips and weakly associated text from short-form tags, long-form descriptions, playlists, and AudioSet labels; data sampling with fixed mini-batch proportions 2:2:1:1 (SF:LF:PL:ASET).
• Pretraining: audio encoders pretrained on AudioSet; text encoder warm-started from BERT.

実験結果

リサーチクエスチョン

• RQ1 弱く関連付けられた自然言語から学習した共通音声-テキスト埋め込みは、固定されたオントロジーを超えたゼロショットの音楽タグ付けを可能にするか。
• RQ2 クロスモーダル対比学習を伴う二塔アーキテクチャは、多様なテキストスタイルに対して自由形式の言語を音楽オーディオへ効果的に結びつけられるか。
• RQ3 MuLanはクロスモーダルな音楽検索と音楽ドメインの言語理解をどの程度支援できるか。
• RQ4 異なるテキストデータソース（短文、長文、プレイリスト、ASET）がクロスモーダルの接地と下流タスクにどのように影響するか。
• RQ5 音声エンコーダとしてResNet-50とASTを使用することのゼロショットタグ付けと検索性能への影響は何か。

主な発見

• MuLanは MagnaTagATune (MTAT) および AudioSet (Gen-25 and Mu-141) ベンチマークで競争力のあるゼロショットタグ付け性能を達成し、M-Resnet-50 と M-AST の間で同等の結果を示す。
• 多様なテキストソースを取り入れることは一般に下流タスクを改善する；フィルタリングは一部の設定で役立つことがあるが、ノイズ耐性の高い対比学習のため、フィルタなしデータも驚くほど効果的である。
• MuLanの音声埋め込みに対する線形プローブは、タグ付けベンチマークで最先端の転移学習性能を示し、強力な汎用音声表現を示唆している。
• MuLanはテキストクエリを用いたクロスモーダル検索を可能にし、短文・長文のテキストやプレイリストデータを含めると性能が向上し、特に複雑で複数語・否定を含むクエリで効果的。
• テキスト埋め込みの微調整は、音楽ドメインデータとクロスモーダル損失を用いることで、汎用文埋め込みと比較してテキストトリプレット分類精度を改善する。
• エンドツーエンドのベースラインも競争力を示すが、共有埋め込み空間を持つMuLanの二塔アプローチは、固定語彙を超えた柔軟なゼロショットおよび検索能力を提供する。