[论文解读] Diverse Audio Captioning via Adversarial Training

Xinhao Mei, Xubo Liu+3 more|arXiv (Cornell University)|Oct 13, 2021

Music and Audio Processing被引用 7

一句话总结

本文提出一种基于条件生成对抗网络（C-GAN）的对抗性训练框架，用于音频字幕生成，以提升字幕的多样性，解决最大似然估计（MLE）训练模型生成通用、确定性字幕的局限性。通过结合策略梯度强化学习与判别器及双评估器，该模型生成更具多样性且语义忠实的字幕，在多样性指标上优于MLE基线模型，尽管在传统指标得分上略有下降。

ABSTRACT

Audio captioning aims at generating natural language descriptions for audio clips automatically. Existing audio captioning models have shown promising improvement in recent years. However, these models are mostly trained via maximum likelihood estimation (MLE),which tends to make captions generic, simple and deterministic. As different people may describe an audio clip from different aspects using distinct words and grammars, we argue that an audio captioning system should have the ability to generate diverse captions for a fixed audio clip and across similar audio clips. To address this problem, we propose an adversarial training framework for audio captioning based on a conditional generative adversarial network (C-GAN), which aims at improving the naturalness and diversity of generated captions. Unlike processing data of continuous values in a classical GAN, a sentence is composed of discrete tokens and the discrete sampling process is non-differentiable. To address this issue, policy gradient, a reinforcement learning technique, is used to back-propagate the reward to the generator. The results show that our proposed model can generate more diverse captions, as compared to state-of-the-art methods.

研究动机与目标

• 解决通过最大似然估计（MLE）训练的音频字幕模型缺乏多样性的问题，此类模型生成的字幕往往通用且重复。
• 开发一种框架，为同一段音频剪辑及相似剪辑生成多样化的字幕，反映人类描述中的自然变异。
• 引入一种条件生成对抗网络（C-GAN）架构，通过对抗性训练提升生成字幕的自然性与多样性。
• 引入语言评估器（CIDEr）与语义评估器，以平衡字幕质量与对音频内容的忠实度。
• 通过策略梯度强化学习克服文本生成中不可微的离散生成问题。

提出的方法

• 采用条件生成对抗网络（C-GAN）框架，其中生成器基于音频特征生成字幕，判别器用于区分人工标注字幕与生成字幕。
• 使用策略梯度强化学习，将来自判别器与评估器的奖励反向传播至生成器，因为离散标记生成过程不可微。
• 训练生成器以最大化复合奖励，该奖励结合了判别器反馈、CIDEr得分（语言评估器）以及语义忠实度（语义评估器）。
• 引入双评估器机制：一个用于评估语言质量（CIDEr），另一个用于评估字幕与音频输入的语义对齐，以确保事实一致性。
• 以交替方式应用对抗性训练：使用复合奖励的策略梯度更新生成器，随后更新判别器以提升其对真实与生成字幕的分类能力。
• 为与MLE基线模型比较，使用束搜索（beam size = 5）；为所提出的C-GAN模型，每段音频剪辑采样5个字幕。

实验结果

研究问题

• RQ1 与基于MLE的模型相比，通过C-GAN的对抗性训练是否能提升音频字幕的多样性？
• RQ2 判别器与双评估器的整合如何影响字幕多样性与语义准确性的平衡？
• RQ3 策略梯度强化学习在对抗性设置中在多大程度上能有效训练离散文本生成器？
• RQ4 在所提出的框架中，传统指标得分（如BLEU、CIDEr）与多样性指标之间存在何种权衡？
• RQ5 各个组件（判别器、语言评估器、语义评估器）对最终字幕质量与多样性的贡献如何？

主要发现

• 所提出的C-GAN框架显著提升了字幕多样性，尤其当超参数λ接近1.0时，此时判别器与评估器奖励达到最佳平衡。
• 尽管MLE训练模型在BLEU与CIDEr等基于n-gram的指标上得分更高（因高频n-gram使用较多），但其对同一段音频剪辑生成的字幕具有高度确定性，近乎完全相同。
• C-GAN模型生成的字幕更具多样性：例如，对同一声音使用不同的动词（如“buzzing”、“drilling”）或关注不同方面（声音本身 vs. 物体来源）。
• 消融实验表明，若移除判别器，字幕将出现语义不连贯；若仅依赖语言评估器，则多样性下降，证实各组件的互补作用。
• 语义评估器对保持忠实度至关重要——若无此模块，模型将生成杂乱、重复的文本，导致n-gram指标接近零分。
• 该模型实现了有利的权衡：在仅导致传统指标小幅下降的情况下显著提升多样性，表明可在不牺牲核心字幕质量的前提下增强多样性。