[論文レビュー] AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head

Rongjie Huang, Mingze Li+11 more|arXiv (Cornell University)|Apr 25, 2023

Music and Audio Processing被引用数 21

ひとこと要約

AudioGPT は、ChatGPT を音声基盤モデルとモーダリティ・トランスフォーマーに接続し、複数ラウンドの対話において音声を理解・生成することを可能にし、一貫性、能力、頑健性を評価します。

ABSTRACT

Large language models (LLMs) have exhibited remarkable capabilities across a variety of domains and tasks, challenging our understanding of learning and cognition. Despite the recent success, current LLMs are not capable of processing complex audio information or conducting spoken conversations (like Siri or Alexa). In this work, we propose a multi-modal AI system named AudioGPT, which complements LLMs (i.e., ChatGPT) with 1) foundation models to process complex audio information and solve numerous understanding and generation tasks; and 2) the input/output interface (ASR, TTS) to support spoken dialogue. With an increasing demand to evaluate multi-modal LLMs of human intention understanding and cooperation with foundation models, we outline the principles and processes and test AudioGPT in terms of consistency, capability, and robustness. Experimental results demonstrate the capabilities of AudioGPT in solving AI tasks with speech, music, sound, and talking head understanding and generation in multi-round dialogues, which empower humans to create rich and diverse audio content with unprecedented ease. Our system is publicly available at \url{https://github.com/AIGC-Audio/AudioGPT}.

研究の動機と目的

• 音声機能を備えたLLMの必要性を動機づけ、スクラッチからの訓練におけるデータと計算資源の制約に対処する。
• ChatGPT を汎用インターフェースとして、音声基盤モデルとモーダリティ・トランスフォーマーと組み合わせるシステムを提案する。
• 一貫性、能力、頑健性に焦点を当てた多モーダルLLMの評価基準を概説する。
• AudioGPT の能力を示す、音声、音楽、音響、トーキングヘッドを含むタスクを多回対話で処理する。

提案手法

• AudioGPT を、モーダリティ・トランスフォーマー、LLM、プロンプト・マネージャ、タスク・ハンドラ、および一連の音声基盤モデルから成るプロンプトベースのシステムとして定義する。
• 多様な入力モダリティをモーダリティ・トランスフォーマーを介して一貫したテキストクエリに変換する。
• 選択された音声モデルのために、LLMとプロンプト・マネージャが構造化されたタスク引数を抽出するタスク分析パイプラインを使用する。
• 適切な入力で選択された音声基盤モデルを割り当て実行し、タスク出力を得る。
• クエリと対話履歴から得られる文脈情報とモデル出力を統合して最終応答を生成する。

実験結果

リサーチクエスチョン

• RQ1 LLMが複数の音声基盤モデルをどの程度効果的に統合し、話し言葉の対話で多様な音声モダリティを理解・生成できるか。
• RQ2 AudioGPT は文脈を維持し、音声、音楽、音響、トーキングヘッドのタスクに跨る複数ラウンドのやり取りを処理できるか。
• RQ3 AudioGPT のような多モーダルLLMの一貫性、能力、頑健性を評価するデザイン原則とは何か。

主な発見

• AudioGPT は ChatGPT を音声基盤モデルとつなぐことで、音声、音楽、音響、トーキングヘッドのタスクに対する多回対話機能を実現します。
• 評価は、一貫性、能力、頑健性に対する AudioGPT のアプローチを示し、人間が注釈したプロンプトテストとクラウドソーシング評価を含みます。
• 音声基盤モデルは、WER、BLEU、MOS、PESQ、STOI、FID など（タスクごと）といった指標で広範なタスクセットに対して実証されます。
• タスクに応じて波形、テキスト、音声、映像など多様な出力をサポートし、トーキングヘッド合成やテキスト読み上げを含みます。
• 実験は、AudioGPT が会話の文脈を維持し、12ラウンドの対話事例で追従を処理できることを示しています。