[論文レビュー] CLAP: Learning Audio Concepts From Natural Language Supervision

Benjamin Elizalde, Soham Deshmukh+2 more|arXiv (Cornell University)|Jun 9, 2022

Music and Audio Processing被引用数 8

ひとこと要約

CLAPは、音声と自然言語の記述を共有の埋め込み空間に整合させるように、音声エンコーダーとテキストエンコーダーを対照学習で訓練するフレームワークを導入し、たった128,000件の音声-テキストペアで16の下流音声タスクにおいて最先端のゼロショット性能を達成した。これは、タスク固有の微調整なしに強力な汎化性能と柔軟性を示している。

ABSTRACT

Mainstream Audio Analytics models are trained to learn under the paradigm of one class label to many recordings focusing on one task. Learning under such restricted supervision limits the flexibility of models because they require labeled audio for training and can only predict the predefined categories. Instead, we propose to learn audio concepts from natural language supervision. We call our approach Contrastive Language-Audio Pretraining (CLAP), which learns to connect language and audio by using two encoders and a contrastive learning to bring audio and text descriptions into a joint multimodal space. We trained CLAP with 128k audio and text pairs and evaluated it on 16 downstream tasks across 8 domains, such as Sound Event Classification, Music tasks, and Speech-related tasks. Although CLAP was trained with significantly less pairs than similar computer vision models, it establishes SoTA for Zero-Shot performance. Additionally, we evaluated CLAP in a supervised learning setup and achieve SoTA in 5 tasks. Hence, CLAP's Zero-Shot capability removes the need of training with class labels, enables flexible class prediction at inference time, and generalizes to multiple downstream tasks.

研究の動機と目的

• 事前定義されたクラスラベルではなく、自然言語の監視から学習する汎用的な音声表現モデルの開発。
• 共有マルチモodal空間における音声とテキストの埋め込みを整合させることで、柔軟でゼロショットな音声分類を可能にすること。
• タスク固有の微調整なしに、音声イベント分類、音楽、話声タスクなど多様な音声ドメインにわたる強力な汎化性能を達成すること。
• モデルの固定とプロンプト工学の影響が、音声理解におけるゼロショット性能に与える影響を調査すること。
• 視覚分野の対応物と比較して、限られたデータで効果的に汎化する音声の基盤モデルを確立すること。

提案手法

• CLAPは、音声エンコーダーとテキストエンコーダーの2つの別々のエンコーダーを使用し、入力の音声とテキストペアをそれぞれ独立して処理する。
• 音声とテキストの表現は、学習可能な線形層 $L_a$ および $L_t$ を用いて次元 $d$ の共有埋め込み空間に投影される。
• 正例ペアが対角線上に位置する温度調整付き類似度行列 $C = \tau \cdot (E_t \cdot E_a^\top)$ を用いた対照学習が適用される。
• 損失関数 $\mathcal{L} = 0.5(\ell_{\text{text}}(C) + \ell_{\text{audio}}(C))$ が、音声-テキストペアの一致を最適化するとともに、負例ペアを分離するように最適化される。
• 推論時、ゼロショット分類は、音声埋め込みとクラスラベルのテキスト埋め込み間のコサイン類似度を計算することで実行される。
• 推論時にプロンプト工学が適用され、'This is a sound of [class label]' などのテンプレートが使用され、ゼロショット転送性能が向上する。

Fig. 1 : CLAP jointly trains an audio and a text encoder to learn the (dis)similarity of audio and text pairs in a batch using contrastive learning. At testing time, the pretrained encoders are used to extract audio embeddings from the testing audio and text embeddings from the class labels. Zero-Sh

実験結果

リサーチクエスチョン

• RQ1 128,000件の音声-テキストペアで訓練された対照学習フレームワークが、音声理解において最先端のゼロショット性能を達成できるか？
• RQ2 自然言語の監視とクラスラベルの監視を比較した場合、音声モデルにおける柔軟で未学習クラスの予測を可能にする上で、どちらが優れているか？
• RQ3 音声エンコーダーとテキストエンコーダーの固定が、下流タスクのゼロショット性能に与える影響は何か？
• RQ4 異なるプロンプトテンプレートは、音声ベンチマークにおけるゼロショット分類精度にどのように影響するか？
• RQ5 CLAPは、音声イベント、音楽、話声など多様な音声ドメインにどの程度汎化するか？

主な発見

• CLAPは、8つのドメインにまたがる16の下流タスクにおいて、最先端のゼロショット性能を達成した。特に、最適なプロンプトテンプレートを用いたESC50では82.6%の精度を達成した。
• FSD50Kデータセットでは、ゼロショット評価で53.8%のmAPを達成し、Wav2CLIPを27ポイント上回った。
• 教師あり微調整では、5つのタスクで最先端の結果を達成し、GTZANのMusic vs Speech Classificationタスクでは100%の精度を記録した。
• 音声エンコーダーを固定し、テキストエンコーダーのみを微調整した場合、逆の場合よりも高いゼロショット性能が得られた。これは、テキストエンコーダーがクロスモodal整合に特に重要であることを示唆している。
• プロンプト工学によりゼロショット性能が顕著に向上し、'This is a sound of [class label]' というテンプレートがESC50で最も高い82.6%の精度を達成した。
• ランダムベースラインと比較して、インストゥルメンタル分類では22%、ボーカルサウンド分類では33%の向上を示し、微調整なしでも有意義な汎化性能を示した。

Fig. 2 : Effect of batch size on zero-shot performance