[论文解读] CL4AC: A Contrastive Loss for Audio Captioning

Xubo Liu, Qiushi Huang+5 more|arXiv (Cornell University)|Jul 21, 2021

Music and Audio Processing参考文献 29被引用 16

一句话总结

本文提出 CL4AC，一种用于音频字幕生成的对比损失框架，通过利用配对音频-文本数据的自监督信号，在低数据设置下提升了跨模态对齐与表征质量。通过在训练过程中对比匹配与不匹配的音频-字幕对，CL4AC 在强基线模型上实现了高达 3.37% 的 CIDEr 相对提升，证明了其有效性，且无需外部数据或迁移学习。

ABSTRACT

Automated Audio captioning (AAC) is a cross-modal translation task that aims to use natural language to describe the content of an audio clip. As shown in the submissions received for Task 6 of the DCASE 2021 Challenges, this problem has received increasing interest in the community. The existing AAC systems are usually based on an encoder-decoder architecture, where the audio signal is encoded into a latent representation, and aligned with its corresponding text descriptions, then a decoder is used to generate the captions. However, training of an AAC system often encounters the problem of data scarcity, which may lead to inaccurate representation and audio-text alignment. To address this problem, we propose a novel encoder-decoder framework called Contrastive Loss for Audio Captioning (CL4AC). In CL4AC, the self-supervision signals derived from the original audio-text paired data are used to exploit the correspondences between audio and texts by contrasting samples, which can improve the quality of latent representation and the alignment between audio and texts, while trained with limited data. Experiments are performed on the Clotho dataset to show the effectiveness of our proposed approach.

研究动机与目标

• 解决自动音频字幕（AAC）中的数据稀缺问题，该问题导致音频-文本对齐不佳及潜在表征次优。
• 在训练数据有限的情况下（如仅包含 6,974 个音频片段的 Clotho 数据集），提升模型的泛化能力与鲁棒性。
• 开发一种自监督对比学习方法，仅利用原始配对的音频-文本数据，避免依赖大规模外部数据集或迁移学习。
• 通过对比学习提升音频与文本表征的质量及其跨模态对齐，且不引入额外监督信号。
• 为现有依赖迁移学习或强化学习的 AAC 系统提供一种数据高效替代方案，后者可能引入不稳定性或需要大型预训练模型。

提出的方法

• 提出一种对比学习框架 CL4AC，利用现有音频-文本对的自监督信号来改进表征学习。
• 通过将同一批次中的音频片段与不匹配的字幕配对，构建负样本，形成用于训练的对比对。
• 设计一种对比损失函数，使正样本（匹配）的音频-字幕对相似度最大化，同时使负样本（不匹配）的相似度最小化。
• 将对比损失集成到使用预训练 PANN 编码器和 Transformer 解码器的序列到序列模型中。
• 使用联合目标函数进行模型训练，结合标准的交叉熵损失（用于字幕生成）与对比损失（用于表征学习）。
• 推理时采用贪婪解码，从 <sos> 开始生成字幕，并在达到 <eos> 或最大长度（35 个 token）时停止。

实验结果

研究问题

• RQ1 在训练数据有限的情况下（如 Clotho 数据集），对比学习是否能提升音频字幕生成性能？
• RQ2 所提出的 CL4AC 框架如何在不使用外部数据或迁移学习的情况下，提升音频-文本对齐与表征质量？
• RQ3 与标准基线相比，对比损失在提升生成字幕的流畅性、语义保真度及 n-gram 匹配度方面有多大改善？
• RQ4 自监督对比目标是否能在低资源音频字幕场景下，带来更鲁棒且更具泛化能力的表征？
• RQ5 对比损失能否在不损害训练稳定性或推理质量的前提下，有效集成到标准编码器-解码器架构中用于音频字幕生成？

主要发现

• 与基线系统相比，CL4AC 在 BLEU-1、BLEU-2、BLEU-3 和 BLEU-4 上分别实现了 0.55%、1.16%、1.80% 和 2.88% 的相对提升。
• CIDEr 得分相比基线提升了 3.37%，表明生成字幕与真实标签之间的语义保真度和对齐性显著增强。
• SPIDEr 相比基线提升了 2.98%，表明生成字幕的句法流畅性与语义一致性得到改善。
• 除 METEOR 外所有指标均有所提升，其中在高阶 n-gram 匹配与字幕特定指标上提升最为显著。
• 结果表明，仅通过原始配对数据进行对比学习，即可显著提升字幕生成性能，且无需迁移学习或强化学习。
• 消融研究证实，即使在低数据环境下，对比损失对表征质量与对齐性也有显著贡献。