[论文解读] HEAR: Holistic Evaluation of Audio Representations

Joseph Turian, Jordie Shier+21 more|arXiv (Cornell University)|Mar 6, 2022

Music and Audio Processing被引用 36

一句话总结

HEAR 基准测试通用音频嵌入，通过评估 29 个模型在覆盖语音、环境声音和音乐的 19 种多样化任务上，使用通用 API 以及下游分类器的冻结嵌入进行评估。

ABSTRACT

What audio embedding approach generalizes best to a wide range of downstream tasks across a variety of everyday domains without fine-tuning? The aim of the HEAR benchmark is to develop a general-purpose audio representation that provides a strong basis for learning in a wide variety of tasks and scenarios. HEAR evaluates audio representations using a benchmark suite across a variety of domains, including speech, environmental sound, and music. HEAR was launched as a NeurIPS 2021 shared challenge. In the spirit of shared exchange, each participant submitted an audio embedding model following a common API that is general-purpose, open-source, and freely available to use. Twenty-nine models by thirteen external teams were evaluated on nineteen diverse downstream tasks derived from sixteen datasets. Open evaluation code, submitted models and datasets are key contributions, enabling comprehensive and reproducible evaluation, as well as previously impossible longitudinal studies. It still remains an open question whether one single general-purpose audio representation can perform as holistically as the human ear.

研究动机与目标

• 需要一个可跨越多样任务而无需微调即可转移的单一通用音频表示的动机。
• 为跨领域的音频表示提供一个广泛、开放、可重复的评估框架。
• 通过提供通用 API、开放数据集和评估代码，促进跨模型比较的快速迭代。

提出的方法

• 提供一个通用的 HEAR API，用于将来自不同模型的嵌入封装为下游任务。
• 使用两类任务类型对嵌入进行评估：基于场景的分类和基于时间戳的声音事件检测，将冻结的嵌入输入到一个浅层 MLP。
• 将数据集预处理为通用格式，采用标准划分和开放许可，以促进可重复性。
• 使用开源评估代码和标准化预处理，促进跨模型比较与纵向研究。

实验结果

研究问题

• RQ1 一个单一的通用音频表示是否能够在语音、环境声音和音乐任务上进行整体性表现？
• RQ2 不同的预训练方案（有监督与自监督、单域与多模态）如何影响跨任务的迁移能力？
• RQ3 哪些层或嵌入的融合策略在不进行微调的情况下能实现最佳泛化？

主要发现

• 若干模型在非最终层或融合层上受益于对多样任务的迁移，而不仅仅是最后一层。
• 包含音高特定嵌入的模型（如 CREPE）在音高相关任务如 NSynth Pitch 与 Maestro 上表现出色。
• 基于 AudioSet 进行语义对象标注的模型与广域任务（如 ESC-50 和 GTZAN 流派标注）的表现相关。
• CP-JKU PaSST 模型在 FSD50K 上未微调就取得了-state-of-the-art 的平均精度（mean average precision）。
• 强大的语音模型在与语音相关的任务（如情绪识别和语言识别）上通常表现出色。
• 该基准强调开放性、可重复性，以及实现真正的整体音频表示的挑战。