[论文解读] Evaluating Off-the-Shelf Machine Listening and Natural Language Models for Automated Audio Captioning

Benno Weck, Xavier Favory+2 more|arXiv (Cornell University)|Oct 14, 2021

Music and Audio Processing参考文献 32被引用 4

一句话总结

本文使用基于Transformer的架构，评估了现成预训练的机器听觉与自然语言模型在自动音频字幕生成中的表现。研究发现，将YAMNet用于音频编码、BERT用于词嵌入，并结合基于多头注意力的适配器（MHA）处理音频特征，可获得最佳性能，显著提升基线配置的SPIDEr得分。

ABSTRACT

Automated audio captioning (AAC) is the task of automatically generating textual descriptions for general audio signals. A captioning system has to identify various information from the input signal and express it with natural language. Existing works mainly focus on investigating new methods and try to improve their performance measured on existing datasets. Having attracted attention only recently, very few works on AAC study the performance of existing pre-trained audio and natural language processing resources. In this paper, we evaluate the performance of off-the-shelf models with a Transformer-based captioning approach. We utilize the freely available Clotho dataset to compare four different pre-trained machine listening models, four word embedding models, and their combinations in many different settings. Our evaluation suggests that YAMNet combined with BERT embeddings produces the best captions. Moreover, in general, fine-tuning pre-trained word embeddings can lead to better performance. Finally, we show that sequences of audio embeddings can be processed using a Transformer encoder to produce higher-quality captions.

研究动机与目标

• 探究现成预训练音频与自然语言模型在自动音频字幕（AAC）任务中的有效性。
• 在统一的基于Transformer的框架下，确定预训练模型的最佳组合方式。
• 评估设计选择的影响，如微调词嵌入、在音频嵌入上使用适配器，以及重叠帧提取。
• 识别在Clotho数据集上产生最高字幕质量的预训练模型与配置。

提出的方法

• 采用基于Transformer的编码器-解码器框架，包含一个固定的预训练音频编码器（E）、一个可选的适配器（A），以及一个Transformer解码器（D）。
• 从四个预训练机器听觉模型中提取音频嵌入：YAMNet、VGGish、OpenL3和COALA。
• 词嵌入来自预训练的NLP模型（如BERT、word2vec、GloVe、fastText），用作解码器的输入。
• 适配器（A）以多层感知机（MLP）、多头注意力（MHA）或无适配器的形式实现，用于在解码前处理音频嵌入。
• 通过有无50%帧重叠的方式提取音频嵌入，以评估时间上下文的影响。
• 模型采用交叉熵损失进行端到端训练，推理阶段使用贪婪解码。

实验结果

研究问题

• RQ1 哪种预训练音频编码器在自动音频字幕任务中表现最佳？
• RQ2 微调预训练词嵌入对字幕质量有何影响？
• RQ3 在音频嵌入上使用适配器（MLP或MHA）是否能提升生成性能？
• RQ4 重叠帧提取对音频嵌入质量有何影响？
• RQ5 哪种音频与词嵌入模型组合能产生最高的SPIDEr得分？

主要发现

• YAMNet结合BERT词嵌入与基于MHA的适配器，实现了0.1793的最高SPIDEr得分。
• 微调预训练词嵌入显著提升了性能，Wilcoxon符号秩检验结果p < 0.001。
• 在音频嵌入上使用多头注意力适配器，其表现始终优于无适配器和MLP适配器。
• 采用50%帧重叠计算音频嵌入，显著提升了COALA（p < 8.08e−07）与YAMNet（p < 3.92e−06）的性能。
• 即使不进行微调，BERT作为固定外部词嵌入模型也优于其他预训练嵌入。
• 对于自监督模型（如OpenL3），MHA适配器最为有效，表明其能更好地利用其语义丰富的表征。