[論文レビュー] Evaluating Off-the-Shelf Machine Listening and Natural Language Models for Automated Audio Captioning

Benno Weck, Xavier Favory+2 more|arXiv (Cornell University)|Oct 14, 2021

Music and Audio Processing参考文献 32被引用数 4

ひとこと要約

この論文は、Transformerベースのアーキテクチャを用いて、オーディオキャプションの自動化のための市販の事前学習済み音声認識および自然言語処理モデルの効果を評価している。音声符号化にYAMNet、語彙埋め込みにBERTを組み合わせ、音声特徴にマルチヘッドアテンションアダプタを適用した構成が最も優れた性能を示し、ベースライン設定よりも顕著にSPIDErスコアが向上した。

ABSTRACT

Automated audio captioning (AAC) is the task of automatically generating textual descriptions for general audio signals. A captioning system has to identify various information from the input signal and express it with natural language. Existing works mainly focus on investigating new methods and try to improve their performance measured on existing datasets. Having attracted attention only recently, very few works on AAC study the performance of existing pre-trained audio and natural language processing resources. In this paper, we evaluate the performance of off-the-shelf models with a Transformer-based captioning approach. We utilize the freely available Clotho dataset to compare four different pre-trained machine listening models, four word embedding models, and their combinations in many different settings. Our evaluation suggests that YAMNet combined with BERT embeddings produces the best captions. Moreover, in general, fine-tuning pre-trained word embeddings can lead to better performance. Finally, we show that sequences of audio embeddings can be processed using a Transformer encoder to produce higher-quality captions.

研究の動機と目的

• 市販の事前学習済み音声および自然言語処理モデルが自動音声キャプション（AAC）においてどの程度有効であるかを調査すること。
• 統一されたTransformerベースのフレームワークを用いて、AACにおける最適な事前学習モデルの組み合わせを特定すること。
• 微調整された語彙埋め込みの使用、音声特徴にアダプタを適用する方法、重複フレーム抽出の影響といった設計選択の影響を評価すること。
• Clothoデータセットにおいて最高のキャプション品質をもたらす事前学習モデルおよび構成を同定すること。

提案手法

• 固定された事前学習済み音声エンコーダー（E）、オプションのアダプタ（A）、およびTransformerデコーダー（D）を備えたTransformerベースのエンコーダー・デコーダー枠組みを用いる。
• 音声埋め込みは、YAMNet、VGGish、OpenL3、COALAの4つの事前学習済み機械的聴取モデルから抽出される。
• 語彙埋め込みは、BERT、word2vec、GloVe、fastTextなどの事前学習済みNLPモデルから得られ、デコーダーの入力として使用される。
• アダプタ（A）は、音声特徴をデコーディングの前に処理する目的で、マルチレイヤーパーセプトロン（MLP）、マルチヘッドアテンション（MHA）、またはアダプタなしのいずれかとして実装される。
• 時間的文脈の影響を評価するため、50％のフレームオーバーラップありとなしの両方で音声特徴を抽出する。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、推論はグリーディデコーディングを用いる。

実験結果

リサーチクエスチョン

• RQ1 自動音声キャプションにおいて、どの事前学習済み音声エンコーダーが最も優れた性能を示すか？
• RQ2 事前学習済み語彙埋め込みの微調整は、キャプション品質にどのように影響するか？
• RQ3 音声特徴にアダプタ（MLPまたはMHA）を適用することで、キャプション生成の性能が向上するか？
• RQ4 重複フレーム抽出の影響は、音声特徴品質にどのような影響を及えるか？
• RQ5 どの音声および語彙埋め込みモデルの組み合わせが、最高のSPIDErスコアを達成するか？

主な発見

• YAMNetとBERT語彙埋め込みに加え、MHAベースのアダプタを適用した構成が、最高のSPIDErスコア0.1793を達成した。
• 事前学習済み語彙埋め込みの微調整は、性能を顕著に向上させ、ウィルコクソン符号順位検定においてp < 0.001であった。
• 音声特徴にマルチヘッドアテンションアダプタを適用した場合、アダプタなしおよびMLPアダプタよりも一貫して優れた性能を示した。
• COALA（p < 8.08e−07）およびYAMNet（p < 3.92e−06）において、50％のオーバーラップを伴う音声特徴抽出が性能向上に寄与した。
• 微調整を行わずとも、固定された外部語彙埋め込みモデルとしてのBERTが、他の事前学習済み埋め込みよりも優れた性能を示した。
• 自己教師ありモデル（例：OpenL3）に対しては、MHAベースのアダプタが最も効果的であった。これは、そのアダプタが、これらのモデルの意味論的に豊かな表現をより効果的に活用できることを示唆している。