[論文レビュー] Large-scale Contrastive Language-Audio Pretraining with Feature Fusion and Keyword-to-Caption Augmentation

Yusong Wu, Ke Chen+5 more|arXiv (Cornell University)|Nov 12, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本論文では、633,526件の音声・テキストペアを含む、LAION-Audio-630Kという63万3,526件の音声データセットでトレーニングされた大規模な対照的言語・音声事前学習モデル、CLAPを紹介する。特徴抽出統合とキーワードからキャプションへの増幅技術を統合することで、音声対テキスト検索（AudioCapsにおけるR@1 = 36.7％）およびゼロショット音声分類において最先端の性能を達成し、多様な音声入力に対して優れた汎化性能と頑健性を示している。

ABSTRACT

Contrastive learning has shown remarkable success in the field of multimodal representation learning. In this paper, we propose a pipeline of contrastive language-audio pretraining to develop an audio representation by combining audio data with natural language descriptions. To accomplish this target, we first release LAION-Audio-630K, a large collection of 633,526 audio-text pairs from different data sources. Second, we construct a contrastive language-audio pretraining model by considering different audio encoders and text encoders. We incorporate the feature fusion mechanism and keyword-to-caption augmentation into the model design to further enable the model to process audio inputs of variable lengths and enhance the performance. Third, we perform comprehensive experiments to evaluate our model across three tasks: text-to-audio retrieval, zero-shot audio classification, and supervised audio classification. The results demonstrate that our model achieves superior performance in text-to-audio retrieval task. In audio classification tasks, the model achieves state-of-the-art performance in the zero-shot setting and is able to obtain performance comparable to models' results in the non-zero-shot setting. LAION-Audio-630K and the proposed model are both available to the public.

研究の動機と目的

• 事前学習のための、大規模で多様性に富み、自然な記述がなされた音声・テキストデータセットの不足に取り組むこと。
• 音声におけるマルチモodal表現学習を向上させ、変動長の音声入力を処理できるようにすること。
• 特徴抽出統合とデータ増幅技術を通じて、モデルの汎化性能と性能を向上させること。
• ゼロショットおよび教師あり音声分類を含む、複数の下流タスクにおける学習済み音声表現の評価を行うこと。
• LAION-Audio-630KデータセットおよびCLAPモデルを一般公開し、広範な研究利用を促進すること。

提案手法

• 著者らは、8つの公開ソースから得た合計4,325.39時間の音声を含む、633,526件の音声・テキストペアからなる大規模データセット、LAION-Audio-630Kをリリースする。
• キーワードからキャプションへのモデルを用いて、AudioSetのための記述的キャプションを自動生成し、自然言語の記述を伴うトレーニングデータを大幅に拡張する。
• CLAPモデルは、音声とテキストを共通の埋め込み空間にマップする対照的学習フレームワークを採用し、一致するペア間の整合性を最適化する。
• 音声およびテキストエンコーダー間で特徴抽出統合を適用することで、表現品質の向上と、可変長音声入力の効果的処理を可能にする。
• 複数の音声エンコーダー（例：HTSAT、PANN）およびテキストエンコーダー（例：RoBERTa、BERT）を評価・統合し、性能最適化を図る。
• 正例ペア間の類似度を最大化し、負例ペア間の類似度を最小化するように、対照的損失を用いてモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 大規模で弱教師ありの音声・テキストデータは、ゼロショットおよび教師あり音声分類性能を向上させることができるか？
• RQ2 キーワードからキャプションへの増幅は、音声表現学習におけるテキスト記述の質と多様性をどのように向上させるか？
• RQ3 特徴抽出統合は、可変長音声入力におけるモデルの頑健性と性能をどの程度向上させるか？
• RQ4 音声エンコーダーとテキストエンコーダーの異なる組み合わせは、対照的事前学習における最終的なモデル性能にどのように影響するか？
• RQ5 対照的言語・音声モデルは、音声対テキスト検索および多様な下流タスクにおける汎化性能で最先端の結果を達成できるか？

主な発見

• CLAPモデルは、AudioCapsベンチマークで36.7％のR@1を達成し、新たな最先端性能を樹立した。
• ゼロショット音声分類タスクにおいて、ESC-50では89.1％のトップ1正答率、US8Kでは73.2％、VGGSoundでは29.1％を記録し、先行手法を上回った。
• キーワードからキャプションへの増幅手法は、単純なテンプレートプロンプティングよりも性能を向上させ、特にVGGSoundおよびUS8Kで最大4.8ポイントの正答率向上を達成した。
• 特徴抽出統合により、モデルは可変長音声入力を効果的に処理でき、Clothoデータセットにおける長時間音声（10秒以上）の処理において特に利益をもたらした。
• 教師ありFSD50KのmAPは64.9％を達成し、以前の最先端を上回り、VGGSoundでは75.4％に達し、優れた転送可能性を示した。
• AudioCapsとClothoの間で性能のトレードオフが見られるものの、大規模で多様なデータで学習させたことで、多様な音声分布にわたる強い汎化性能を示した。