[論文レビュー] An Encoder-Decoder Based Audio Captioning System With Transfer and Reinforcement Learning

Xinhao Mei, Qiushi Huang+11 more|arXiv (Cornell University)|Aug 5, 2021

Music and Audio Processing参考文献 21被引用数 20

ひとこと要約

本論文は、事前学習音声モデル（PANNs）からの転移学習と、AudioCapsにおけるドメイン内微調整を組み合わせ、CIDErスコアを最適化するための強化学習を用いたCNN-Transformer音声キャプションシステムを提示する。このシステムはDCASE 2021タスク6で3位を達成し、ほとんどの指標で最先端のアンサンブルモデルを上回ったが、強化学習により「背景で」のような冗長なフレーズがキャプションに挿入された。

ABSTRACT

Automated audio captioning aims to use natural language to describe the content of audio data. This paper presents an audio captioning system with an encoder-decoder architecture, where the decoder predicts words based on audio features extracted by the encoder. To improve the proposed system, transfer learning from either an upstream audio-related task or a large in-domain dataset is introduced to mitigate the problem induced by data scarcity. Besides, evaluation metrics are incorporated into the optimization of the model with reinforcement learning, which helps address the problem of ``exposure bias'' induced by ``teacher forcing'' training strategy and the mismatch between the evaluation metrics and the loss function. The resulting system was ranked 3rd in DCASE 2021 Task 6. Ablation studies are carried out to investigate how much each element in the proposed system can contribute to final performance. The results show that the proposed techniques significantly improve the scores of the evaluation metrics, however, reinforcement learning may impact adversely on the quality of the generated captions.

研究の動機と目的

• 音声キャプションにおけるデータ不足を、上流の音声タスクとドメイン内データセットからの転移学習を用いて解決すること。
• 訓練損失と評価指標の不一致を解消するために、強化学習を用いてCIDErをモデル最適化に組み込むこと。
• 評価指標スコアを超えて、強化学習がキャプション品質に与える影響を調査すること。
• 単一モodalの事前学習と比較して、マルチモーダルの転移学習（音声と言語）の有効性を評価すること。
• 自動評価指標と人間の判断との間に生じる乖離を分析すること。

提案手法

• システムは、音声入力からのログメルスペクトログ램特徴を抽出するために、PANNsに基づく10層のCNNエンコーダーを用いる。
• Transformerデコーダーは、エンコーダー特徴と以前に生成されたトークンに条件づけて、自己回帰的にキャプションを生成する。
• 転移学習は、事前学習済みのPANNsエンコーダーを用い、AudioCapsデータセットでの微調整により、音声および言語表現学習を向上させる。
• 強化学習は、CIDErを報酬信号として用い、訓練を評価指標に直接一致させる。
• 方策勾配法を用いて、生成キャプションのCIDErスコアに基づきデコーダーのパラメータを更新する。
• アブレーションスタディでは、転移学習および強化学習の有無を比較し、各コンponentの寄与を分離する。

実験結果

リサーチクエスチョン

• RQ1 PANNsおよびAudioCapsでの事前学習は、初期化から訓練する場合と比較して、音声キャプション性能にどのように影響するか？
• RQ2 強化学習は、CIDEr や SPICE などの自動評価指標をどの程度向上させるか？
• RQ3 強化学習は、指標スコアの向上にもかかわらず、生成キャプションの文法的正確性と意味的品質を劣化させるか？
• RQ4 音声のみ vs. 音声＋言語の異なる転移学習戦略は、性能および頑健性においてどのように比較されるか？
• RQ5 なぜ強化学習は「背景で」といったフレーズの過剰使用を引き起こすのか？

主な発見

• 提案されたシステムはDCASE 2021タスク6で3位を達成し、BLEU-1を除くすべての指標で最先端のアンサンブルモデルを上回った。
• PANNsでの事前学習は、すべての評価指標を顕著に向上させ、強力な音声特徴抽出の重要性を示した。
• AudioCapsでの微調整はさらなる性能向上をもたらし、音声と言語の統合的転移学習が単一モーダルの事前学習よりも効果的であることを確認した。
• 強化学習はCIDEr、SPICE、CIDEr-Dを含むすべての評価指標を向上させたが、文法的誤りと繰り返し語の出現を引き起こした。
• RL後、765件の生成キャプションに「背景で」というフレーズが含まれていたが、これはRLなしの場合の5倍に上り、正解キャプションのうち302件にしか含まれていなかったことから、指標駆動の過学習が生じていることが示された。
• 結果から、CIDErのような現在の自動指標は人間の判断と完全に一致していないことが示唆され、スコアの向上と伴いキャプション品質が劣化した。