[论文解读] Language-based Audio Retrieval Task in DCASE 2022 Challenge

Huang Xie, Samuel Lipping+1 more|arXiv (Cornell University)|Sep 20, 2022

Music and Audio Processing被引用 4

一句话总结

本文展示了在 DCASE 2022 挑战赛中语言驱动的音频检索任务（子任务 6B）的结果，该任务要求系统根据自然语言查询对音频片段进行排序。表现最佳的系统在 mAP@10 指标上取得了 0.276 的得分，显著优于基线模型，表明在文本与音频跨模态对齐建模方面取得了进展。

ABSTRACT

Language-based audio retrieval is a task, where natural language textual captions are used as queries to retrieve audio signals from a dataset. It has been first introduced into DCASE 2022 Challenge as Subtask 6B of task 6, which aims at developing computational systems to model relationships between audio signals and free-form textual descriptions. Compared with audio captioning (Subtask 6A), which is about generating audio captions for audio signals, language-based audio retrieval (Subtask 6B) focuses on ranking audio signals according to their relevance to natural language textual captions. In DCASE 2022 Challenge, the provided baseline system for Subtask 6B was significantly outperformed, with top performance being 0.276 in mAP@10. This paper presents the outcome of Subtask 6B in terms of submitted systems' performance and analysis.

研究动机与目标

• 开发能够建模自由形式文本描述与音频信号之间语义关系的计算系统。
• 解决使用自然语言查询检索相关音频片段的挑战，该任务与音频字幕生成任务不同。
• 在标准化基准上评估并比较语言驱动音频检索系统的性能。
• 分析 DCASE 2022 挑战赛中基线系统与最佳提交结果之间的性能差距。

提出的方法

• 该任务涉及训练模型，将音频片段和自然语言查询嵌入到共享的嵌入空间中。
• 使用平均精度均值在前 10 项（mAP@10）作为标准指标来评估模型性能。
• 参赛者采用了多种深度学习架构，包括对比学习和基于 Transformer 的编码器。
• 表现最佳的系统利用在 DCASE 2022 数据集上微调过的预训练音频和文本编码器。
• 部分系统使用了交叉注意力机制，以对齐相关音频片段与查询短语。
• 评估重点在于在多样化音频和文本描述下的零样本和少样本泛化能力。

实验结果

研究问题

• RQ1 与基线系统相比，模型在基于自由形式自然语言描述检索音频片段方面的表现如何？
• RQ2 哪些架构选择能够提升跨模态音频-文本检索的性能？
• RQ3 预训练的音频和文本编码器在语言驱动的音频检索任务中具有多大程度的泛化能力？
• RQ4 当前方法在 DCASE 2022 语言驱动音频检索基准上的性能上限是什么？

主要发现

• 表现最佳的系统在 mAP@10 指标上取得了 0.276 的得分，显著优于所提供的基线系统。
• 采用微调过的预训练音频和文本编码器的系统表现出更优的泛化能力和对齐能力。
• 对比学习和交叉注意力机制有助于提升排序性能。
• 最佳系统与基线系统之间的性能差距显著，表明在方法论上仍有进一步创新的空间。
• 结果表明，对文本与音频之间细粒度语义对齐的建模对于实现高检索准确率至关重要。
• 该基准揭示了在音频检索任务中处理多样化且模糊的自然语言查询所面临的挑战。