[论文解读] Listen carefully and tell: an audio captioning system based on residual learning and gammatone audio representation

Sergi Perez-Castanos, Javier Naranjo-Alcazar+2 more|arXiv (Cornell University)|Jun 27, 2020

Music and Audio Processing参考文献 24被引用 6

一句话总结

本文提出一种基于Gammatone滤波器组表征和残差神经网络（ResNets）的音频字幕系统，采用编码器-解码器框架并引入注意力机制。该方法在不使用数据增强或词嵌入的情况下，超越基线模型，使用ResNet-101时达到0.150的SPIDEr得分，表现出更优的字幕质量。

ABSTRACT

Automated audio captioning is machine listening task whose goal is to describe an audio using free text. An automated audio captioning system has to be implemented as it accepts an audio as input and outputs as textual description, that is, the caption of the signal. This task can be useful in many applications such as automatic content description or machine-to-machine interaction. In this work, an automatic audio captioning based on residual learning on the encoder phase is proposed. The encoder phase is implemented via different Residual Networks configurations. The decoder phase (create the caption) is run using recurrent layers plus attention mechanism. The audio representation chosen has been Gammatone. Results show that the framework proposed in this work surpass the baseline system in challenge results.

研究动机与目标

• 开发一种新型音频字幕系统，通过先进的音频表征和深度学习架构，超越现有基线模型。
• 评估残差学习（ResNet变体）作为基于Gammatone频谱图的音频字幕编码器的有效性。
• 通过多种自动评估指标，评估不同ResNet深度对字幕生成质量的影响。
• 探究无需数据增强或词嵌入的系统是否能在音频字幕任务中实现具有竞争力的性能。

提出的方法

• 将音频输入转换为包含64个频率带的Gammatone滤波器组表征，替代传统的Mel-spectrogram。
• 编码器采用多种ResNet配置（ResNet-50、-101、-152、Wide-101）从Gammatone频谱图中提取分层音频特征。
• 解码器采用门控循环单元（GRU）结合注意力机制，逐 token 生成自然语言字幕。
• 训练过程采用教师强制策略和交叉熵损失，以优化字幕生成过程。
• 在Clotho数据集上，使用BLEU、METEOR、ROUGE-L、CIDEr、SPICE和SPIDEr等标准指标对系统进行评估。
• 所有字幕后处理均采用与基线一致的流程，以确保公平比较。

实验结果

研究问题

• RQ1 在音频字幕性能方面，使用Gammatone滤波器组表征与Mel-spectrogram相比有何差异？
• RQ2 不同ResNet架构（深度与宽度）对音频字幕质量的影响如何？
• RQ3 一个不使用词嵌入或数据增强的系统是否能实现具有竞争力的性能？
• RQ4 注意力机制在所提出的编码器-解码器框架中如何提升字幕生成质量？

主要发现

• ResNet-101编码器在SPIDEr指标上达到最高分0.150，优于基线模型，并在挑战赛31个系统中位列第13名。
• ResNet-101系统在所有指标上均表现最佳，SPIDEr得分相比基线提升0.005。
• ResNet-50在BLEU-n指标上表现最佳，表明其与参考字幕的n元语法对齐能力更强。
• ResNet-152和Wide-101在CIDEr和SPICE指标上与ResNet-101表现相当，表明尽管网络更深，但字幕质量相似。
• 所有模型均生成语法正确的字幕，但在复杂音频场景中存在部分幻觉现象（如‘洗澡时吃东西’）。
• 尽管未使用数据增强和词嵌入，系统仍表现出强劲性能，表明Gammatone-ResNet-注意力管道具有高度鲁棒性。