[論文レビュー] Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval

Yuma Koizumi, Yasunori Ohishi+3 more|arXiv (Cornell University)|Dec 14, 2020

Music and Audio Processing参考文献 24被引用数 21

ひとこと要約

本論文は、音声に基づく類似キャプションの検索をガイドとして用いることで、事前学習済みのGPT-2言語モデルを活用してキャプション生成を行う、新しい音声キャプションフレームワークを提案する。音声類似度に基づいて訓練データから関連するキャプションを検索し、GPT-2をそれらで条件づけることで、特にn-gram精度において、学習から始めることよりも優れた性能を達成した。これは、モダリティの不一致にもかかわらず、大規模な事前学習済み言語モデルを音声キャプションに適応させる可能性を示している。

ABSTRACT

The goal of audio captioning is to translate input audio into its description using natural language. One of the problems in audio captioning is the lack of training data due to the difficulty in collecting audio-caption pairs by crawling the web. In this study, to overcome this problem, we propose to use a pre-trained large-scale language model. Since an audio input cannot be directly inputted into such a language model, we utilize guidance captions retrieved from a training dataset based on similarities that may exist in different audio. Then, the caption of the audio input is generated by using a pre-trained language model while referring to the guidance captions. Experimental results show that (i) the proposed method has succeeded to use a pre-trained language model for audio captioning, and (ii) the oracle performance of the pre-trained model-based caption generator was clearly better than that of the conventional method trained from scratch.

研究の動機と目的

• 音声キャプションの訓練データの不足に取り組むために、大規模な事前学習済み言語モデルを活用すること。
• 入力モダリティの不一致（テキスト専用）があるにもかかわらず、GPT-2のような強力な事前学習済み言語モデルを音声キャプションに利用可能にするため。
• 言語モデルの条件付け文脈として、検索された意味的に関連するキャプションを用いることで、キャプション生成の品質を向上させること。
• 検索拡張生成フレームワークを用いて、クロスモダリティキャプションタスクにおける事前学習済み言語モデルの有効性を評価すること。

提案手法

• 本手法は二段階のカスケードシステムを採用する：まず、検索モジュールが音声埋め込みに基づいて最も類似した訓練キャプションを特定する。
• 音声埋め込みは、三重項損失を用いた対照的学習の目的関数により学習され、検索品質が向上する。
• 検索されたキャプションが、凍結されたGPT-2言語モデルの条件付け文脈として機能し、自動回帰的に最終的なキャプションが生成される。
• デコーダーは、検索されたキャプションと以前に生成されたトークンの両方を条件付けとして、事前学習済み言語モデルの自動回帰的事前分布を用いて各単語を生成する。
• GPT-2に直接音声入力を与えないようにし、検索されたキャプションを音声入力とテキスト生成の間のブリッジとして使用する。
• フレームワークは、凍結されたGPT-2と埋め込みネットワークの上に少数の追加可学習層を追加するだけで、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 入力がテキスト専用であるにもかかわらず、GPT-2のような大規模な事前学習済み言語モデルを音声キャプションに効果的に適応できるか？
• RQ2 直接的な音声入力なしに、どのようにして音声入力を事前学習済み言語モデルに意味的に意味のある形で組み込むことができるか？
• RQ3 検索された意味的に類似したキャプションを文脈として用いることで、生成された音声キャプションの品質が向上するか？
• RQ4 検索拡張GPT-2システムの性能は、学習から始められた従来のエンドツーエンドモデルと比べてどうなるか？

主な発見

• 本手法は、音声に基づくキャプション検索を条件付けとして用いることで、モダリティの不一致を克服し、事前学習済みGPT-2モデルを音声キャプションに効果的に活用した。
• GPT-2ベースの生成器のオラクル性能は、従来の学習から始めた手法を著しく上回り、特にBLEU-1およびBLEU-2指標で顕著であった。
• 本手法はほとんどの指標で人間水準に近い性能を達成し、評価指標の3つにおいて人間のキャプションを上回った。
• BLEU-4およびCIDErにおける性能の差は、ウェブで学習されたGPT-2と訓練キャプションとの間で分布のずれがあることを示唆しており、ファインチューニングによる改善の余地があることを示している。
• 検索モジュールの正確さが全体のキャプション品質に強く影響しており、誤った検索（例：「バス」の代わりに「車両」）は誤ったキャプション生成を引き起こした。
• 本研究は、音声ベースのガイド付きキャプション検索が、将来的な改善において最も有望な要因であることを確認した。これは、最終的なキャプション品質に最も大きな影響を与えるからである。