[论文解读] Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval

Yuma Koizumi, Yasunori Ohishi+3 more|arXiv (Cornell University)|Dec 14, 2020

Music and Audio Processing参考文献 24被引用 21

一句话总结

本文提出了一种新颖的音频字幕生成框架，通过利用基于音频的检索来引导生成，将预训练的 GPT-2 语言模型应用于字幕生成。通过根据音频相似性从训练数据集中检索相关字幕，并将其作为条件输入给 GPT-2，该方法在从零开始训练的基础上实现了更优性能，尤其在 n-gram 准确率方面表现突出，证明了尽管存在模态不匹配问题，仍可将大规模预训练语言模型成功适配于音频字幕生成任务。

ABSTRACT

The goal of audio captioning is to translate input audio into its description using natural language. One of the problems in audio captioning is the lack of training data due to the difficulty in collecting audio-caption pairs by crawling the web. In this study, to overcome this problem, we propose to use a pre-trained large-scale language model. Since an audio input cannot be directly inputted into such a language model, we utilize guidance captions retrieved from a training dataset based on similarities that may exist in different audio. Then, the caption of the audio input is generated by using a pre-trained language model while referring to the guidance captions. Experimental results show that (i) the proposed method has succeeded to use a pre-trained language model for audio captioning, and (ii) the oracle performance of the pre-trained model-based caption generator was clearly better than that of the conventional method trained from scratch.

研究动机与目标

• 通过利用大规模预训练语言模型，解决音频字幕训练数据稀缺的问题。
• 在输入模态不匹配（仅支持文本）的前提下，实现如 GPT-2 等强大预训练语言模型在音频字幕任务中的应用。
• 通过使用检索到的语义相关字幕作为条件上下文，提升字幕生成质量。
• 通过检索增强的生成框架，评估预训练语言模型在跨模态字幕生成任务中的有效性。

提出的方法

• 该方法采用两阶段级联系统：首先，检索模块基于音频嵌入识别最相似的训练字幕。
• 通过对比学习目标与三元组损失，学习音频嵌入以提升检索质量。
• 检索到的字幕作为条件上下文输入到冻结的 GPT-2 语言模型中，实现自回归生成最终字幕。
• 解码器在生成每个词时，同时依赖于检索到的字幕和先前生成的标记，利用预训练语言模型的自回归先验。
• 通过使用检索到的字幕作为音频输入与文本生成之间的桥梁，避免直接将音频输入到 GPT-2 中。
• 该框架在冻结的 GPT-2 和嵌入网络基础上，仅通过少量额外可训练层实现端到端训练。

实验结果

研究问题

• RQ1 尽管 GPT-2 仅支持文本输入，是否可以有效将其适配于音频字幕生成任务？
• RQ2 如何在不直接输入音频的前提下，有意义地将音频输入条件化到预训练语言模型中？
• RQ3 使用检索到的、语义相关的字幕作为上下文，是否能提升生成音频字幕的质量？
• RQ4 与从零开始训练的常规端到端模型相比，检索增强的 GPT-2 系统性能如何？

主要发现

• 所提方法通过使用基于音频的字幕检索作为条件，成功利用了预训练的 GPT-2 模型进行音频字幕生成，有效克服了模态不匹配问题。
• 基于 GPT-2 的生成器在“理想情况”下的性能显著优于从零开始训练的基线方法，尤其在 BLEU-1 和 BLEU-2 指标上表现突出。
• 该方法在大多数指标上达到接近人类水平的性能，且在三项评估指标上优于人类字幕。
• BLEU-4 和 CIDEr 指标上的性能差距表明，预训练的 GPT-2（基于网络数据训练）与训练字幕之间存在分布偏移，提示通过微调仍有改进空间。
• 检索模块的准确性对整体字幕质量有显著影响，错误检索（如将“bus”误检为“vehicle”）会导致错误的字幕生成。
• 研究证实，基于音频的字幕引导检索是未来改进中最具潜力的组件，因其对最终字幕质量的影响最大。