[論文レビュー] Diverse Audio Captioning via Adversarial Training

Xinhao Mei, Xubo Liu+3 more|arXiv (Cornell University)|Oct 13, 2021

Music and Audio Processing被引用数 7

ひとこと要約

本論文は、最大尤度推定（MLE）で学習されたモデルが生成する一般的で決定論的なキャプションの限界を克服するために、音声キャプションのための条件付きGAN（C-GAN）ベースの敵対的訓練フレームワークを提案する。ポリシー勾配強化学習とディスクライマと二重評価器を組み合わせることで、より多様で意味的に忠実なキャプションを生成し、多様性指標においてMLEベースラインを上回るが、やや低い従来の指標スコアを示す。

ABSTRACT

Audio captioning aims at generating natural language descriptions for audio clips automatically. Existing audio captioning models have shown promising improvement in recent years. However, these models are mostly trained via maximum likelihood estimation (MLE),which tends to make captions generic, simple and deterministic. As different people may describe an audio clip from different aspects using distinct words and grammars, we argue that an audio captioning system should have the ability to generate diverse captions for a fixed audio clip and across similar audio clips. To address this problem, we propose an adversarial training framework for audio captioning based on a conditional generative adversarial network (C-GAN), which aims at improving the naturalness and diversity of generated captions. Unlike processing data of continuous values in a classical GAN, a sentence is composed of discrete tokens and the discrete sampling process is non-differentiable. To address this issue, policy gradient, a reinforcement learning technique, is used to back-propagate the reward to the generator. The results show that our proposed model can generate more diverse captions, as compared to state-of-the-art methods.

研究の動機と目的

• 最大尤度推定（MLE）で学習された音声キャプションモデルに見られる多様性の欠如、つまり一般的で繰り返しのあるキャプションを生成するという限界を是正すること。
• 同じ音声クリップや類似するクリップに対して、人間が示すような記述のばらつきを反映した多様なキャプションを生成するフレームワークを開発すること。
• 敵対的訓練を用いて自然さと多様性の両方を向上させる条件付きGAN（C-GAN）アーキテクチャを導入すること。
• 言語評価器（CIDEr）と意味的評価器を導入し、キャプションの質と音声コンテンツへの忠実度のバランスを取ること。
• テキスト生成における離散的生成の非微分可能性という問題を、ポリシー勾配強化学習を用いて克服すること。

提案手法

• 生成器が音声特徴に条件付けられてキャプションを生成し、ディスクライマが人間によるアノテーション済みキャプションと生成キャプションを区別する条件付きGAN（C-GAN）フレームワークを採用する。
• 離散的トークン生成は微分不能であるため、ディスクライマと評価器からの報酬を逆伝播して生成器にフィードバックするポリシー勾配強化学習を用いる。
• ディスクライマのフィードバック、CIDErスコア（言語評価器）、意味的忠実度（意味的評価器）を組み合わせた複合報酬を最大化するように生成器を訓練する。
• 二重評価器機構を導入：言語品質の評価（CIDEr）と音声入力との意味的整合性の評価により、事実の整合性を保証する。
• 交互に敵対的訓練を実施：複合報酬を用いてポリシー勾配で生成器を更新し、次にディスクライマを更新して本物と生成キャプションの分類性能を向上させる。
• MLEベースラインとの比較のため、ビームサーチ（ビームサイズ5）を用い、提案されたC-GANモデルでは1音声クリップあたり5つのキャプションをサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 C-GANによる敵対的訓練は、MLEベースのモデルと比較して音声キャプションの多様性を向上させることができるか？
• RQ2 ディスクライマと二重評価器の統合は、キャプションの多様性と意味的正確性のバランスにどのように影響するか？
• RQ3 ポリシー勾配強化学習は、敵対的設定下で離散的テキスト生成器の有効な訓練をどの程度可能にするか？
• RQ4 提案フレームワークにおいて、従来の指標スコア（例：BLEU、CIDEr）と多様性指標とのトレードオフはどの程度か？
• RQ5 個々の構成要素（ディスクライマ、言語評価器、意味的評価器）は、最終的なキャプション品質と多様性にそれぞれどのように寄与しているか？

主な発見

• 提案されたC-GANフレームワークは、ハイパーパrameter λ が1.0に近い場合に顕著にキャプションの多様性を向上させる。
• MLEで学習されたモデルは、頻出n-gramの使用により、BLEU や CIDEr などのn-gramベースの指標で高いスコアを達成するが、同じ音声クリップに対して決定論的でほぼ同一のキャプションを生成する。
• C-GANモデルはより多様なキャプションを生成する：たとえば、同じ音を「buzzing」や「drilling」と異なる動詞で記述する、または音そのものではなく物体の原因に焦点を当てるなど、記述の側面を変える。
• アブレーションスタディの結果、ディスクライマを除去すると意味的に整合性のないキャプションが生成され、言語評価器のみに依存すると多様性が低下することが確認され、各構成要素の補完的役割が裏付けられた。
• 意味的評価器は忠実度を維持するために不可欠である—これがないと、モデルは秩序のない繰り返しの多いテキストを生成し、n-gram指標でほぼゼロのスコアとなる。
• 本モデルは、従来の指標スコアのわずかな低下で済ませながらも、多様性を著しく向上させ、多様性を高めつつもコアなキャプション品質を損なわない良好なトレードオフを達成した。