[論文レビュー] CL4AC: A Contrastive Loss for Audio Captioning

Xubo Liu, Qiushi Huang+5 more|arXiv (Cornell University)|Jul 21, 2021

Music and Audio Processing参考文献 29被引用数 16

ひとこと要約

本稿では、ペアド音声・テキストデータからの自己教師あり学習を活用することで、低データ設定下におけるクロスマodalな整合性と表現品質を向上させる、音声字幕生成のための対照的損失フレームワークCL4ACを提案する。学習中に一致するペアと一致しないペアの音声・字幕ペアを対比させることで、強力なベースラインに対してCIDErスコアで最大3.37%の相対的向上を達成し、外部データや転移学習に依存せずに有効性を示している。

ABSTRACT

Automated Audio captioning (AAC) is a cross-modal translation task that aims to use natural language to describe the content of an audio clip. As shown in the submissions received for Task 6 of the DCASE 2021 Challenges, this problem has received increasing interest in the community. The existing AAC systems are usually based on an encoder-decoder architecture, where the audio signal is encoded into a latent representation, and aligned with its corresponding text descriptions, then a decoder is used to generate the captions. However, training of an AAC system often encounters the problem of data scarcity, which may lead to inaccurate representation and audio-text alignment. To address this problem, we propose a novel encoder-decoder framework called Contrastive Loss for Audio Captioning (CL4AC). In CL4AC, the self-supervision signals derived from the original audio-text paired data are used to exploit the correspondences between audio and texts by contrasting samples, which can improve the quality of latent representation and the alignment between audio and texts, while trained with limited data. Experiments are performed on the Clotho dataset to show the effectiveness of our proposed approach.

研究の動機と目的

• 自動音声字幕生成（AAC）におけるデータ不足が引き起こす音声・テキストの整合性の欠如と最適でない潜在表現の問題に対処すること。
• Clothoデータセット（6,974個の音声クリップのみ）のような限られた訓練データにおいて、モデルの汎化性能と耐性を向上させること。
• 外部の大規模データセットや転移学習に依存せず、元のペアド音声・テキストデータのみを活用する自己教師あり対照的学習アプローチを開発すること。
• 追加の教師信号を導入せずに、対照的学習により音声およびテキスト表現の質とそれらのクロスマodal整合性を向上させること。
• 転移学習や強化学習に依存する既存のAACシステムの代替として、データ効率的な代替手段を提供すること。

提案手法

• 既存のペアド音声・テキストデータからの自己教師あり学習を活用して表現学習を向上させる、対照的学習フレームワークCL4ACを提案する。
• 同じバッチ内から不一致のキャプションとペアリングされた音声クリップを用いてネガティブサンプルを構築し、訓練用の対照的ペアを生成する。
• 正例（一致する）ペア間の類似度を最大化し、負例（不一致する）ペア間の類似度を最小化するように設計された対照的損失関数を設計する。
• 事前学習済みPANNエンコーダーとTransformerデコーダーを備えたシーケンス・ツー・シーケンスモデルに、対照的損失を統合する。
• 標準的な交差エントロピー損失（キャプション生成用）と表現学習用の対照的損失を統合した共同目的関数を用いてモデルを訓練する。
• 推論時にはグリーディデコードを用い、<sos>から開始し、</eos>に達するか最大35トークンに達するまでキャプションを生成する。

実験結果

リサーチクエスチョン

• RQ1 Clothoデータセットのような限られたデータ設定下において、対照的学習が音声字幕生成性能を向上させることができるか？
• RQ2 外部データや転移学習を用いずに、提案されたCL4ACフレームワークはどのように音声・テキストの整合性と表現品質を向上させるか？
• RQ3 標準ベースラインと比較して、対照的損失は生成キャプションの文法的流暢さ、意味的整合性、n-gramマッチングにどの程度向上効果をもたらすか？
• RQ4 自己教師あり対照的目的は、リソースが限られた音声字幕生成シナリオにおいて、より頑健で汎用性の高い表現をもたらすか？
• RQ5 対照的損失は、訓練の安定性や推論品質に悪影響を及げることなく、標準的なエンコーダ・デコーダアーキテクチャに効果的に統合可能か？

主な発見

• ベースラインシステム比で、BLEU-1、BLEU-2、BLEU-3、BLEU-4それぞれに0.55%、1.16%、1.80%、2.88%の相対的向上を達成した。
• CIDErスコアはベースライン比で3.37%相対的に向上し、生成キャプションと正解との間の意味的整合性と適合性が向上したことを示している。
• SPIDErはベースライン比で2.98%相対的に向上し、生成キャプションの構文的流暢さと意味的整合性が向上したことを示している。
• METEORを除くすべての指標が向上し、特に高次のn-gramマッチングとキャプション固有の指標で顕著な向上が観察された。
• 結果から、外部の教師信号や転移学習を一切用いずに、元のペアドデータからの対照的学習のみで、キャプション生成性能を顕著に向上させられると示された。
• アブレーションスタディにより、対照的損失が、限られたデータ環境下でも表現品質と整合性に有意義な寄与をしていることが確認された。