[论文解读] Audio Captioning using Gated Recurrent Units

Ayşegül Özkaya Eren, Mustafa Sert|arXiv (Cornell University)|Jun 5, 2020

Music and Audio Processing参考文献 27被引用 9

一句话总结

该论文提出了一种新颖的音频字幕模型，采用VGGish嵌入提取音频特征，Word2Vec嵌入表示词语，并结合双向GRU（BiGRU）进行音频编码，以及GRU进行文本编码，构建端到端的序列到序列框架。该模型在Clotho数据集上取得了最先进性能，在自动评估指标和生成字幕的质量方面均优于先前方法。

ABSTRACT

Audio captioning is a recently proposed task for automatically generating a textual description of a given audio clip. In this study, a novel deep network architecture with audio embeddings is presented to predict audio captions. Within the aim of extracting audio features in addition to log Mel energies, VGGish audio embedding model is used to explore the usability of audio embeddings in the audio captioning task. The proposed architecture encodes audio and text input modalities separately and combines them before the decoding stage. Audio encoding is conducted through Bi-directional Gated Recurrent Unit (BiGRU) while GRU is used for the text encoding phase. Following this, we evaluate our model by means of the newly published audio captioning performance dataset, namely Clotho, to compare the experimental results with the literature. Our experimental results show that the proposed BiGRU-based deep model outperforms the state of the art results.

研究动机与目标

• 通过整合语义音频嵌入与词语嵌入，提升音频字幕生成性能。
• 探究VGGish嵌入在音频字幕任务中的有效性，超越传统对数梅尔频谱特征。
• 评估Word2Vec嵌入在增强文本表示以提升字幕生成质量方面的贡献。
• 设计一种统一的编码器-解码器架构，分别编码音频与文本后再进行融合。
• 在新发布的Clotho数据集上展示优越性能，确立新的最先进基准。

提出的方法

• 模型使用VGGish从原始音频中提取深层音频嵌入，替代或补充对数梅尔能量特征。
• 使用Word2Vec初始化文本编码器的嵌入层，注入语义词语表示。
• 使用双向GRU（BiGRU）对音频特征进行编码，以捕捉音频中的长程时间依赖关系。
• 使用标准GRU对文本进行编码，以建模自然语言的序列特性。
• 将编码后的音频与文本表示拼接后输入基于GRU的解码器，自回归地生成字幕。
• 采用交叉熵损失进行端到端训练，以最大化真实字幕的似然概率。

实验结果

研究问题

• RQ1 与对数梅尔特征相比，VGGish嵌入是否能提升音频字幕生成性能？
• RQ2 引入Word2Vec词语嵌入是否能提升生成字幕的质量？
• RQ3 所提出的BiGRU-GRU编码器-解码器架构在Clotho数据集上与现有模型相比表现如何？
• RQ4 语义音频嵌入与词语嵌入在多大程度上促进了更准确、更自然的字幕生成？
• RQ5 该模型能否在多样化音频场景中保持一致性和相关性，实现良好泛化？

主要发现

• 所提出的模型在Clotho数据集上所有评估指标上均优于所有先前最先进方法，表现更优。
• 与先前方法相比，该模型在BLEU、METEOR、CIDEr和ROUGE-L等指标上得分更高，表明生成字幕的流畅性、相关性及n元语法对齐性均得到提升。
• 与对数梅尔特征相比，基于VGGish的特征在训练效率方面（时间与内存使用）表现更优。
• 引入Word2Vec嵌入后，字幕质量得到提升，体现在指标得分更高，且预测结果更具语义一致性。
• 生成的字幕通常比真实字幕更简短、更概括，但能准确捕捉核心语义内容，例如在嘈杂社交场景中生成‘People are talking and laughing’。
• 模型在区分相似声音（如自行车与发动机声）方面表现不佳，表明其在细粒度音频事件识别方面仍存在局限。