[论文解读] WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research

Xinhao Mei, Chutong Meng+7 more|arXiv (Cornell University)|Mar 30, 2023

Music and Audio Processing参考文献 77被引用 6

一句话总结

本文介绍了 WavCaps，一个大规模弱监督音频字幕数据集，包含约 40 万个音频片段，其高质量字幕通过一个三阶段流水线生成，该流水线利用 ChatGPT 对从网络收集的嘈杂描述进行筛选和优化。该数据集在音频-语言多模态任务中实现了最先进性能，证明了大语言模型增强的数据筛选方法在推进音频理解研究方面的有效性。

ABSTRACT

The advancement of audio-language (AL) multimodal learning tasks has been significant in recent years. However, researchers face challenges due to the costly and time-consuming collection process of existing audio-language datasets, which are limited in size. To address this data scarcity issue, we introduce WavCaps, the first large-scale weakly-labelled audio captioning dataset, comprising approximately 400k audio clips with paired captions. We sourced audio clips and their raw descriptions from web sources and a sound event detection dataset. However, the online-harvested raw descriptions are highly noisy and unsuitable for direct use in tasks such as automated audio captioning. To overcome this issue, we propose a three-stage processing pipeline for filtering noisy data and generating high-quality captions, where ChatGPT, a large language model, is leveraged to filter and transform raw descriptions automatically. We conduct a comprehensive analysis of the characteristics of WavCaps dataset and evaluate it on multiple downstream audio-language multimodal learning tasks. The systems trained on WavCaps outperform previous state-of-the-art (SOTA) models by a significant margin. Our aspiration is for the WavCaps dataset we have proposed to facilitate research in audio-language multimodal learning and demonstrate the potential of utilizing ChatGPT to enhance academic research. Our dataset and codes are available at https://github.com/XinhaoMei/WavCaps.

研究动机与目标

• 解决由于现有数据集成本高昂且规模有限，导致音频-语言多模态学习中数据稀缺的关键挑战。
• 克服从网络中收集的原始描述存在噪声且无结构的问题，这些描述不适合用于训练鲁棒的音频字幕模型。
• 开发一种自动化、可扩展的流水线，将低质量的网络爬取描述转化为高质量、符合句子形式的字幕，适用于多模态预训练。
• 证明大语言模型增强的数据筛选可显著提升下游音频-语言模型的性能。
• 提供一个公开可用的大规模弱监督数据集，以加速音频-语言理解研究。

提出的方法

• 从网络来源和一个声音事件检测数据集收集约 40 万个音频片段及其原始描述，采用与 Conceptual Captions 类似的网络爬取技术。
• 实施三阶段处理流水线：(1) 使用文本频率进行预过滤，以去除低质量或不相关的描述；(2) 利用 ChatGPT 对原始描述进行筛选和重写，生成连贯的、符合句子结构的字幕；(3) 后处理以确保语言质量和一致性。
• 利用大语言模型 ChatGPT 的能力执行基于内容的过滤和自然语言转换，显著降低噪声并提升字幕质量。
• 整合来自四个来源的数据：网络收集的音频-字幕对、一个声音事件检测数据集，以及两个额外的音频源，以增强多样性与规模。
• 在 WavCaps 上训练并评估多模态模型（如 CLAP 和 AudioLDM），采用零样本和微调设置以基准化性能。
• 使用 FAD、inception score、R@1、R@5、R@10、KL 和 FD 等指标，评估模型在音频到文本和文本到音频检索、字幕生成及生成任务中的性能。

实验结果

研究问题

• RQ1 能否通过基于大语言模型的优化方法，从网络爬取的嘈杂描述中有效构建大规模弱监督音频字幕数据集？
• RQ2 与未经处理的原始描述相比，使用 ChatGPT 将原始描述转换为更高质量字幕，能在多大程度上提升音频-语言对的质量？
• RQ3 在 WavCaps 上训练的音频-语言模型性能，与在较小规模、人工精选数据集（如 AudioCaps 或 LAION）上训练的最先进模型相比如何？
• RQ4 将来自多种来源（包括网络爬取和强监督数据）的弱标签数据整合，是否能提升下游任务中的泛化能力和鲁棒性？
• RQ5 大语言模型增强的数据筛选是否能显著减少对昂贵人工标注数据的依赖，同时保持或提升模型性能？

主要发现

• 在所有评估的音频-语言多模态任务中，包括音频字幕、文本到音频检索和音频生成，基于 WavCaps 训练的模型均优于以往最先进模型。
• WavCaps 数据集在 AudioCaps 上实现了 28.6 的零样本文本到音频检索 R@1，在 Clotho 上实现了 20.0，显著优于基线模型。
• 在 AudioCaps 上微调后，基于 WavCaps 训练的 AudioLDM 模型（AudioLDM_WavCaps-FT）的 FAD 和 inception score 均高于 AudioLDM_LAION，表明其文本字幕质量更优。
• 消融实验证实，使用 ChatGPT 处理后的字幕相比原始描述可带来显著性能提升，AudioCaps 上的 R@1 从 15.8 提升至 18.1。
• 在包含 AudioSet 和网络来源数据的完整 WavCaps 数据集上训练的模型，在 AudioCaps 和 Clotho 上的性能均优于仅使用单一数据源训练的模型，证明了数据多样性和规模的优势。
• 通过多种指标验证，该数据集的高质量字幕表明，基于大语言模型的数据筛选可有效替代昂贵的人工标注，用于音频字幕任务。