[論文レビュー] Audio Captioning using Gated Recurrent Units

Ayşegül Özkaya Eren, Mustafa Sert|arXiv (Cornell University)|Jun 5, 2020

Music and Audio Processing参考文献 27被引用数 9

ひとこと要約

本論文では、音声特徴としてVGGish埋め込みを、語彙埋め込みとしてWord2Vecを用い、音声符号化に双方向GRU（BiGRU）、テキスト符号化にGRUを組み合わせた、sequence-to-sequenceフレームワークにおける新規音声キャプションモデルを提案する。このモデルは、Clothoデータセットにおいて最先端の性能を達成し、自動評価指標および定性的なキャプション生成の両面で先行手法を上回っている。

ABSTRACT

Audio captioning is a recently proposed task for automatically generating a textual description of a given audio clip. In this study, a novel deep network architecture with audio embeddings is presented to predict audio captions. Within the aim of extracting audio features in addition to log Mel energies, VGGish audio embedding model is used to explore the usability of audio embeddings in the audio captioning task. The proposed architecture encodes audio and text input modalities separately and combines them before the decoding stage. Audio encoding is conducted through Bi-directional Gated Recurrent Unit (BiGRU) while GRU is used for the text encoding phase. Following this, we evaluate our model by means of the newly published audio captioning performance dataset, namely Clotho, to compare the experimental results with the literature. Our experimental results show that the proposed BiGRU-based deep model outperforms the state of the art results.

研究の動機と目的

• 意味的な音声埋め込みと語彙埋め込みを統合することで、音声キャプションの性能を向上させること。
• 従来のlog-Mel特徴に代えて、VGGish埋め込みが音声キャプションに有効であるかを検証すること。
• Word2Vec埋め込みが、キャプション生成のためのテキスト表現を向上させる貢献を評価すること。
• 音声とテキストを別々に符号化した後、統合する一貫性のあるエンコーダ・デコーダアーキテクチャを設計すること。
• 新たにリリースされたClothoデータセットにおいて、優れた性能を示し、新たなSOTAベンチマークを確立すること。

提案手法

• モデルは、raw音声から深層音声埋め込みを抽出するためにVGGishを用い、log-Melエネルギー特徴に代わるか補完する。
• 語彙埋め込みとしてWord2Vecを用い、テキストエンコーダの埋め込み層を初期化することで、意味的な語彙表現を注入する。
• 音声特徴は、音声の長距離時系列依存性を捉えるために、双方向GRU（BiGRU）で符号化する。
• テキストは、自然言語の順序的性質をモデル化するために、標準的なGRUで符号化する。
• 符号化された音声およびテキスト表現を連結し、GRUベースのデコーダに供給することで、自己回帰的にキャプションを生成する。
• モデルは、正解キャプションの尤度を最大化するために、クロスエントロピー損失を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 log-Mel特徴と比較して、VGGish埋め込みが音声キャプションの性能を向上させるか？
• RQ2 Word2Vec語彙埋め込みを組み込むことで、生成キャプションの品質が向上するか？
• RQ3 提案されたBiGRU-GRUエンコーダ・デコーダアーキテクチャは、Clothoデータセットにおいて既存モデルと比較してどのように差がつくか？
• RQ4 意味的な音声および語彙埋め込みは、より正確で自然なキャプションを生成するために、どの程度貢献するか？
• RQ5 モデルは多様な音声シーンに一般化可能であり、一貫性と関連性を維持できるか？

主な発見

• VGGish埋め込みを用いた本モデルは、Clothoデータセットの全評価指標において、すべての先行SOTA手法を上回った。
• BLEU、METEOR、CIDEr、ROUGE-Lスコアがすべての前向き手法を上回り、より自然な文法的整合性、関連性、n-gramの一致が向上していることが示された。
• VGGishベースの特徴は、log-Mel特徴と比較して、時間的およびメモリ使用量の面で優れた学習効率を示した。
• Word2Vec埋め込みの導入により、スコア上昇およびより意味的に整合性のある予測が得られ、キャプション品質が向上した。
• 予測キャプションは一般的に正解よりも短く、より一般的な表現であるが、主な意味的コンテンツ（例：「人々が会話しながら笑っている」）を捉えている。
• モデルは類似した音（例：自転車 vs. エンジン）を区別できないことが問題として明らかになった。