[论文解读] Can Audio Captions Be Evaluated with Image Caption Metrics?

Zelin Zhou, Zhiling Zhang+4 more|arXiv (Cornell University)|Oct 10, 2021

Natural Language Processing Techniques被引用 7

一句话总结

本文提出 FENSE，一种新颖的音频字幕评估指标，结合 Sentence-BERT 进行语义相似度计算，并引入自定义错误检测器以惩罚流利度问题。在两个新的由人工标注的基准测试集 AudioCaps-Eval 和 Clotho-Eval 上进行评估，FENSE 在成对比较准确率上比现有指标高出 14–25%，表明图像字幕评估指标在音频字幕任务中表现不足，原因在于其在流利度和语义对齐方面存在领域特异性缺陷。

ABSTRACT

Automated audio captioning aims at generating textual descriptions for an audio clip. To evaluate the quality of generated audio captions, previous works directly adopt image captioning metrics like SPICE and CIDEr, without justifying their suitability in this new domain, which may mislead the development of advanced models. This problem is still unstudied due to the lack of human judgment datasets on caption quality. Therefore, we firstly construct two evaluation benchmarks, AudioCaps-Eval and Clotho-Eval. They are established with pairwise comparison instead of absolute rating to achieve better inter-annotator agreement. Current metrics are found in poor correlation with human annotations on these datasets. To overcome their limitations, we propose a metric named FENSE, where we combine the strength of Sentence-BERT in capturing similarity, and a novel Error Detector to penalize erroneous sentences for robustness. On the newly established benchmarks, FENSE outperforms current metrics by 14-25% accuracy. Code, data and web demo available at: https://github.com/blmoistawinde/fense

研究动机与目标

• 探究图像字幕评估指标（如 SPICE 和 CIDEr）是否适用于音频字幕的评估。
• 解决当前缺乏人工标注的音频字幕质量基准的问题，以避免评估指标的不公平比较。
• 开发一种更稳健的评估指标，能够同时考虑语义相似度与字幕中的流利度问题。
• 通过成对比较方法构建新的基准测试集 AudioCaps-Eval 和 Clotho-Eval，以确保高评分者间一致性。
• 证明当前评估指标（尤其是针对图像设计的 SPICE）在音频领域与人类判断的相关性不足。

提出的方法

• 使用成对比较方法构建两个新的由人工标注的评估基准测试集 AudioCaps-Eval 和 Clotho-Eval，以提升评分者间的一致性，相比绝对评分更具优势。
• 在新基准测试集上评估现有指标（包括 BLEU、ROUGE、METEOR、CIDEr、SPICE、BERTScore 和 BLEURT），以分析其与人类判断的相关性。
• 将 Sentence-BERT 重新用于字幕评估，通过计算句子嵌入来衡量生成字幕与参考字幕之间的语义相似度。
• 设计一种新型错误检测器，采用微调的 BERT 模型，用于识别字幕中的流利度问题，如不完整或不一致的句子。
• 将 Sentence-BERT 与错误检测器整合为统一指标 FENSE，通过惩罚流利度错误来提升评估的鲁棒性。
• 通过消融研究与在两个数据集上的定量比较，验证 FENSE 中各组件的贡献。

Fig. 1 : Column A, B and C shows the corresponding scores of Caption A, B and C given by different metrics. One cell is colored if the caption is favoured by a certain metric of this row.

实验结果

研究问题

• RQ1 图像字幕评估指标（如 SPICE 和 CIDEr）是否可以可靠地用于音频字幕的评估？
• RQ2 现有自动评估指标在音频字幕质量上的判断与人类判断的相关性如何？
• RQ3 生成字幕中的流利度问题在多大程度上影响标准评估指标的性能？
• RQ4 预训练的句子嵌入模型（如 Sentence-BERT）是否能提升音频字幕评估的准确性？
• RQ5 集成一种具备流利度感知能力的错误检测机制，是否能显著提升音频字幕评估指标的鲁棒性与准确性？

主要发现

• FENSE 在 AudioCaps-Eval 和 Clotho-Eval 两个基准测试集上均优于所有现有指标，其成对比较准确率比表现第二好的指标高出 14–25%。
• 专为图像字幕设计的指标（如 SPICE）表现欠佳，在具有挑战性的人工判断成对样本上准确率低于 50%，证实其不适用于音频字幕任务。
• 基于 n-gram 的指标（如 BLEU 1 和 BLEU 4）在困难样本（HC 和 MM）上的表现与随机猜测无异，凸显其无法捕捉语义细微差别。
• 仅使用 Sentence-BERT 已取得优异表现，但结合错误检测器后性能进一步提升，证明流利度问题显著影响评估指标的可靠性。
• 错误检测器在保留的 723 个字幕测试集上达到 85.4 的 F1 分数，展现出高精确率（96.8%）与可接受的召回率（76.4%），有效识别流利度错误。
• 人类判断与 FENSE 在字幕系统排名上表现出高度一致性，而 SPICE 明显与人类偏好脱节，尤其在将最近邻基线模型错误地评为最差。

Fig. 2 : Illustration of judgments made by humans, FENSE and SPICE on Clotho-Eval. y-axis shows the win fractions of 4 audio captioning systems.