[论文解读] Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities

Zhifeng Kong, Arushi Goel+4 more|arXiv (Cornell University)|Feb 2, 2024

Speech and dialogue systems被引用 4

一句话总结

Audio Flamingo 是一种新型音频语言模型，通过将音频特征与大型语言模型高效结合使用交叉注意力机制，在无需微调的情况下实现了上下文学习、检索增强生成和多轮对话，从而在音频理解任务中达到最先进性能。该模型在多种基准测试中表现优异，且参数量显著更少。

ABSTRACT

Augmenting large language models (LLMs) to understand audio -- including non-speech sounds and non-verbal speech -- is critically important for diverse real-world applications of LLMs. In this paper, we propose Audio Flamingo, a novel audio language model with 1) strong audio understanding abilities, 2) the ability to quickly adapt to unseen tasks via in-context learning and retrieval, and 3) strong multi-turn dialogue abilities. We introduce a series of training techniques, architecture design, and data strategies to enhance our model with these abilities. Extensive evaluations across various audio understanding tasks confirm the efficacy of our method, setting new state-of-the-art benchmarks. Our demo website is https://audioflamingo.github.io/ and the code is open-sourced at https://github.com/NVIDIA/audio-flamingo.

研究动机与目标

• 将大型语言模型（LLMs）扩展至鲁棒的音频理解能力，超越语音转录，涵盖非语音和非言语声音。
• 通过上下文学习（ICL）和检索增强生成（RAG）实现对未见音频任务的少样本适应，且无需任务微调。
• 通过精心构建的上下文丰富对话数据集和监督微调，赋予模型强大的多轮对话能力。
• 克服先前模型在封闭式与开放式音频任务之间性能权衡的局限性。

提出的方法

• 基于 Elizalde 等人（2023b）提出的滑动窗口音频特征提取器，以保留可变长度音频输入中的时间信息。
• 使用交叉注意力机制将 LLM 与音频特征关联，实现与音频标记数量呈线性复杂度，优于先前方法的二次方复杂度。
• 采用两阶段训练流程：首先在约 590 万对异构音频-文本数据上进行预训练，随后在任务特定数据上进行监督微调（SFT）。
• 设计一种新型交叉注意力掩码，用于交错的上下文学习样本，以提升对检索示例的推理能力。
• 利用检索示例和结构化提示模板构建交错 ICL 数据集，以支持少样本泛化。
• 使用 GPT-4 构建两个多轮对话数据集，生成上下文丰富且带标注的对话，对 Audio Flamingo 进行对话性能微调。

Figure 1 : Audio Flamingo versus previous state-of-the-art (Deshmukh et al., 2023 ; Chu et al., 2023 ; Gong et al., 2023b , c ; Tang et al., 2023a ; Ghosh et al., 2023 ) on a number of audio understanding benchmarks. The numbers are normalized such that the maximum of all models is $100\%$ on each t

实验结果

研究问题

• RQ1 单一音频语言模型是否能在涵盖封闭式与开放式基准的多样化音频理解任务中均实现优异性能？
• RQ2 该模型是否能通过上下文学习和检索实现对未见任务的泛化，且无需任务特定微调？
• RQ3 该模型是否支持连贯、上下文感知的多轮对话，具备对对话历史的强推理与记忆能力？
• RQ4 与先前方法相比，该模型的架构与训练策略在参数效率与性能方面表现如何？

主要发现

• Audio Flamingo 在多个音频理解基准测试中创下新的最先进结果，优于先前模型，包括 Chu 等人（2023）和 Gong 等人（2023c）的模型。
• 该模型以少于先前最先进模型三分之一的参数量实现最先进性能，展现出极高的参数效率。
• 在少样本学习设置中，Audio Flamingo 即使在检索示例存在噪声或错误时，仍能正确识别音乐流派（如流行乐）和乐器（如长笛）。
• 对话版本的 Audio Flamingo 在多轮对话中显著优于基线模型，能正确识别重叠的鸟鸣声与语音，并准确描述声音特征与音乐流派。
• 该模型在解析复杂音频场景方面表现出强鲁棒性，例如能准确区分鸟鸣、动物叫声与人类语音，并正确识别重叠事件。
• 检索增强的上下文学习机制使模型即使在检索示例部分错误时也能实现准确推理，展现出强大的泛化能力与抗噪声能力。

Figure 2 : Neural architecture of Audio Flamingo. It takes interleaved audio and text as input and outputs free-form text.