[論文レビュー] Improving the Performance of Automated Audio Captioning via Integrating the Acoustic and Semantic Information

Zhongjie Ye, Helin Wang+2 more|arXiv (Cornell University)|Oct 12, 2021

Music and Audio Processing参考文献 22被引用数 11

ひとこと要約

本論文では、CNNエンコーダからの音響特徴と事前学習済みキーワードエンコーダからの意味的情報を、新規のマルチモodalアテンションメカニズムを介して統合する、MAACと呼ばれるマルチモーダル音声キャプションモデルを提案する。このモデルは、CIDEr-D最適化後、ClothoデータセットでSOTA性能を達成し、CIDEr-Dを41.9から49.1に向上させた。

ABSTRACT

Automated audio captioning (AAC) has developed rapidly in recent years, involving acoustic signal processing and natural language processing to generate human-readable sentences for audio clips. The current models are generally based on the neural encoder-decoder architecture, and their decoder mainly uses acoustic information that is extracted from the CNN-based encoder. However, they have ignored semantic information that could help the AAC model to generate meaningful descriptions. This paper proposes a novel approach for automated audio captioning based on incorporating semantic and acoustic information. Specifically, our audio captioning model consists of two sub-modules. (1) The pre-trained keyword encoder utilizes pre-trained ResNet38 to initialize its parameters, and then it is trained by extracted keywords as labels. (2) The multi-modal attention decoder adopts an LSTM-based decoder that contains semantic and acoustic attention modules. Experiments demonstrate that our proposed model achieves state-of-the-art performance on the Clotho dataset. Our code can be found at https://github.com/WangHelin1997/DCASE2021_Task6_PKU

研究の動機と目的

• 既存の自動音声キャプション（AAC）モデルが音響特徴に依存するのみで意味的文脈を無視するという制限を解消すること。
• キーワードや事前に予測された単語といった意味的情報をデコーディングプロセスに組み込むことで、キャプション品質を向上させること。
• 文生成中に音響特徴と意味的特徴を効果的に統合する、新規のマルチモーダルアテンションメカニズムを設計すること。
• 交差エントロピーと強化学習を併用した共同最適化により、ClothoデータセットでSOTA性能を達成すること。
• アブレーションスタディを通じて、意味的情報がキャプション品質向上に寄与することを検証すること。

提案手法

• 正規化された名詞および動詞を含む正解キャプションから導出されたマルチホットベクトルラベルを用いて、ResNet38に基づく事前学習済みキーワードエンコーダを微調整する。
• キーワードエンコーダは、キャプションから顕著な音声的概念（例：'bird'、'chirp'）を検出するように訓練され、意味的監視を提供する。
• LSTMベースのデコーダは、CNNエンコーダからの音響特徴と、前回のデコーディングステップの隠れ状態およびキーワードから得られる意味的特徴に注目するマルチモーダルアテンションモジュールを統合する。
• マルチモーダルアテンションメカニズムは、クエリ、キー、バリューのプロジェクションを用いて、音響的および意味的表現を統合してコンテキストベクトルを計算する。
• 全モデルは2段階で訓練される：最初にキーワードエンコーダを固定した状態で交差エントロピー損失で訓練し、次に強化学習（PPO）を用いてCIDEr-Dを報酬として微調整する。
• スペクトラムオーグメント（SpecAugment）、ミックスアップ、ラベルスムージング、ティーチャーフォースティングなどのデータ拡張技術を適用して、モデルのロバスト性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 キーワードと事前に予測された単語からの意味的情報を統合することで、音声キャプションの品質が向上するか？
• RQ2 提案されたマルチモーダルアテンションメカニズムは、標準アテンションと比較して、キャプション性能にどのように差をつけるか？
• RQ3 意味的特徴（キーワード）と事前に予測された単語の、アテンションメカニズム内での貢献度はそれぞれどの程度か？
• RQ4 異なるアテンションヘッド間で意味的アテンションモジュールを共有することで性能が向上するか？
• RQ5 事前学習済みの意味的および音響的表現の統合は、ClothoデータセットでSOTA結果を達成できるか？

主な発見

• 提案されたMAACモデルは、CIDEr-D最適化後、ClothoデータセットでCIDEr-Dスコア49.1を達成し、以前のSOTAを顕著に上回った。
• アブレーションスタディの結果、意味的アテンションモジュールに事前に予測された単語のみを用いる場合、誤り伝播の影響によりほとんど効果がなかった。
• 意味的アテンションモジュールにキーワードのみを用いたモデルは収束しなかったことから、キーワードのみでは意味的関係のモデリングが妨げられることを示した。
• キーワードと事前に予測された単語の両方を統合するマルチモーダルアテンションメカニズムが最高の性能を示し、両者の補完的役割を裏付けた。
• 異なるアテンションヘッド間で意味的アテンションモジュールを共有することで、CIDEr-Dスコアがさらに向上した。これは、パラメータ共有によるアーキテクチャ的利点を示している。
• 可視化結果から、モデルがデコーディング中に文脈に応じて関連する意味的コンセプト（例：'birds'や'chirping'）を動的に注目していることが確認された。