[論文レビュー] Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning

Chen Chen, Nana Hou+4 more|arXiv (Cornell University)|Mar 29, 2022

Music and Audio Processing被引用数 9

ひとこと要約

本稿では、事前学習されたエンコーダーを用い、音声とテキストの両方のヘッドを介して音声とテキストを共同で符号化することで、相互作用的なクロスモodal表現を学ぶ新しい自動音声キャプションモデル、CLIP-AACを提案する。対照的学習を用いて音声とテキストの埋め込みを整列させることで、CLIP-AACはClothoデータセットにおいて最先端の性能を達成し、すべてのNLP指標で強力なベースラインを上回る。特に、事前学習と対照的微調整の両方の恩恵が顕著に現れている。

ABSTRACT

Automated Audio captioning (AAC) is a cross-modal task that generates natural language to describe the content of input audio. Most prior works usually extract single-modality acoustic features and are therefore sub-optimal for the cross-modal decoding task. In this work, we propose a novel AAC system called CLIP-AAC to learn interactive cross-modality representation with both acoustic and textual information. Specifically, the proposed CLIP-AAC introduces an audio-head and a text-head in the pre-trained encoder to extract audio-text information. Furthermore, we also apply contrastive learning to narrow the domain difference by learning the correspondence between the audio signal and its paired captions. Experimental results show that the proposed CLIP-AAC approach surpasses the best baseline by a significant margin on the Clotho dataset in terms of NLP evaluation metrics. The ablation study indicates that both the pre-trained model and contrastive learning contribute to the performance gain of the AAC model.

研究の動機と目的

• 単一モダリティの音響特徴に依存する既存の自動音声キャプション（AAC）モデルの性能が不十分であるという問題に取り組むこと。
• 符号化段階で両モダリティを用いて相互作用的な表現を学習することで、音声とテキスト間のクロスモーダル整合性を向上させること。
• 対照的学習を通じて、音声とキャプション入力間の特徴品質と意味的対応関係を強化すること。
• 特に低監視設定においても、二重ヘッドエンコーダーを備えた事前学習済み音声・テキストモデルの有効性を示すこと。

提案手法

• CLIP-AACモデルは、音声ヘッド（ESResNeXtに基づく）とテキストヘッド（12層Transformer）を備えた二重ヘッドエンコーダーを採用し、ペaired入力から共同音声・テキスト埋め込みを抽出する。
• 音声入力はログパワースペクトログラムに変換され、2次元畳み込みおよびダブルパス残差ブロックを経由して深層音響特徴が抽出される。
• テキスト入力はトークン化され埋め込まれ、層正則化を施した12層Transformerを通過することで文脈を反映したテキスト表現が生成される。
• モデルは、正例ペアを整列させるとともに負例ペアを遠ざけるために対照的学習損失 $L_{cl}$ を適用し、交差エントロピー損失とバランスさせるための可学習係数 $\alpha$ を用いる。
• 推論段階では、キャプションが利用できないためテキストヘッドが破棄され、生成用にデコーダーに送られるのは音声ヘッドの出力のみとなる。
• エンコーダーはAudioCLIPから初期化され、対照的学習と自己回帰的監視の両方を用いてClothoデータセットで微調整される。

実験結果

リサーチクエスチョン

• RQ1 音声とテキストを共同で処理する二重ヘッドエンコーダー構造が、自動音声キャプションのためのクロスモーダル表現学習を向上させることができるか？
• RQ2 音声とテキストの埋め込み間における対照的学習が、音声キャプションモデルの性能に与える影響はいかほどか？
• RQ3 大規模な音声・テキストデータで事前学習することで、下流データセットにおけるゼロショットまたはフェイシュットキャプション性能がどの程度向上するか？
• RQ4 事前学習モデルと対照的微調整の両者が、AAC全体の性能向上に果たす相対的寄与度はどの程度か？

主な発見

• CLIP-AACはClothoデータセットにおいて最先端の性能を達成し、BLEU-n、METEOR、ROUGE-L、CIDEr、SPICE、SPIDErのすべての評価指標で最良のベースラインを上回った。
• アブレーションスタディの結果、AudioCLIPからの初期化に加え、音声ヘッドとテキストヘッドの両方を微調整することで、ランダム初期化や音声のみ初期化よりも顕著な性能向上が得られた。
• 対照的学習部が性能向上に寄与しており、対照的損失の係数 $\alpha = 0.2$ で最良の結果が得られた。
• バッチサイズを16に増加させることで、対照的学習における負例ペアの多様性が向上し、性能が向上した。
• コサイン類似度行列の可視化により、トレーニング後、真の音声・テキストペア間の整列が強化されていることが確認された。
• 対照的最適化を伴う音声・テキストの共同符号化により、意味的に整合性が高く、より強固なクロスモーダル埋め込みが得られることを示した。