[论文解读] AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head

Rongjie Huang, Mingze Li+11 more|arXiv (Cornell University)|Apr 25, 2023

Music and Audio Processing被引用 21

一句话总结

AudioGPT 将 ChatGPT 与音频基础模型和一个模态变换器连接起来，以在多轮对话中理解和生成音频，评估一致性、能力和鲁棒性。

ABSTRACT

Large language models (LLMs) have exhibited remarkable capabilities across a variety of domains and tasks, challenging our understanding of learning and cognition. Despite the recent success, current LLMs are not capable of processing complex audio information or conducting spoken conversations (like Siri or Alexa). In this work, we propose a multi-modal AI system named AudioGPT, which complements LLMs (i.e., ChatGPT) with 1) foundation models to process complex audio information and solve numerous understanding and generation tasks; and 2) the input/output interface (ASR, TTS) to support spoken dialogue. With an increasing demand to evaluate multi-modal LLMs of human intention understanding and cooperation with foundation models, we outline the principles and processes and test AudioGPT in terms of consistency, capability, and robustness. Experimental results demonstrate the capabilities of AudioGPT in solving AI tasks with speech, music, sound, and talking head understanding and generation in multi-round dialogues, which empower humans to create rich and diverse audio content with unprecedented ease. Our system is publicly available at \url{https://github.com/AIGC-Audio/AudioGPT}.

研究动机与目标

• 激发对具备音频能力的大语言模型的需求，并解决从头训练所需的数据和计算资源约束。
• 提出一个系统，使用 ChatGPT 作为通用接口，并与音频基础模型和模态变换器配对。
• 概述多模态大语言模型的评估标准，聚焦于一致性、能力和鲁棒性。
• 演示 AudioGPT 在多轮对话中处理涉及语音、音乐、声音和说话头的任务的能力。

提出的方法

• 将 AudioGPT 定义为一个基于提示的系统，由模态变换器、LLM、提示管理器、任务处理器以及一组音频基础模型组成。
• 通过模态变换器将多样的输入模态转化为一致的文本查询。
• 使用一个任务分析流程，其中 LLM 和提示管理器为所选音频模型提取结构化任务参数。
• 为所选音频基础模型分配并使用适当的输入来获得任务输出。
• 通过将模型输出与查询和对话历史中的上下文信息融合，生成最终回答。

实验结果

研究问题

• RQ1 LLM 在口语对话中协调多个音频基础模型以理解和生成多样化音频模态的能力有多高？
• RQ2 AudioGPT 是否能够保持上下文并在语音、音乐、声音和说话头任务中处理多轮交互？
• RQ3 像 AudioGPT 这样的多模态 LLM 在评估一致性、能力和鲁棒性方面的设计原则是什么？

主要发现

• AudioGPT 通过将 ChatGPT 与音频基础模型连接起来，实现在语音、音乐、声音和说话头任务上的多轮对话能力。
• 评估显示 AudioGPT 在一致性、能力和鲁棒性方面的方法，包括人工标注的提示测试和众包评估。
• 在广泛的任务集合中演示了音频基础模型，指标包括 WER、BLEU、MOS、PESQ、STOI、FID 等等（按任务）。
• 系统根据任务支持多样化输出（波形、文本、音频、视频），包括说话头合成和文本到语音。
• 实验表明 AudioGPT 可以在一个 12 轮对话案例中维持对话上下文并处理后续问题。