[論文レビュー] AudioBench: A Universal Benchmark for Audio Large Language Models

Bin Wang, Xunlong Zou+7 more|arXiv (Cornell University)|Jun 23, 2024

Music and Audio Processing被引用数 4

ひとこと要約

AudioBenchは、スピーク理解、ボイス解釈、音声シーン分析を含む8つの多様なタスクと26のデータセットをカバーする、音声大規模言語モデル（AudioLLM）を評価する包括的なベンチマークです。標準化されたプロンプト、多様な入力長、および新規の評価指標を用いて4つのオープンソースモデルを評価した結果、どのモデルもすべてのタスクで優れた性能を発揮しているわけではなく、AudioLLMの能力に大きな改善余地があることが明らかになりました。

ABSTRACT

We introduce AudioBench, a universal benchmark designed to evaluate Audio Large Language Models (AudioLLMs). It encompasses 8 distinct tasks and 26 datasets, among which, 7 are newly proposed datasets. The evaluation targets three main aspects: speech understanding, audio scene understanding, and voice understanding (paralinguistic). Despite recent advancements, there lacks a comprehensive benchmark for AudioLLMs on instruction following capabilities conditioned on audio signals. AudioBench addresses this gap by setting up datasets as well as desired evaluation metrics. Besides, we also evaluated the capabilities of five popular models and found that no single model excels consistently across all tasks. We outline the research outlook for AudioLLMs and anticipate that our open-sourced evaluation toolkit, data, and leaderboard will offer a robust testbed for future model developments.

研究の動機と目的

• 音声理解の多様なタスクにわたる包括的で統一されたベンチマークの不足に対処すること。
• 公平で包括的なモデル比較を可能にするために、多様なデータセット、プロンプトテンプレート、入力長を備えた標準化された評価フレームワークを提供すること。
• GPT-4のような高価または不安定なLLMジャッジに依存しない、信頼性が高くコスト効率の良い評価指標を開発すること。
• 本物の世界の指示従い型音声タスクで実施されたテストを通じて、現在のAudioLLMの性能格差を特定すること。
• コード、データ、リーダーボードを備えた公開型でオープンソースのテストベッドを確立し、AudioLLM分野における今後の研究開発を加速すること。

提案手法

• ベンチマークには、スピーク理解、音声シーン理解、ボイス理解、スピーク指示、音声キャプション、アクセント認識、性別認識、感情認識の8つのコアタスクが含まれます。
• スピーク、環境音、副言語的特徴、マルチモーダル音声・テキスト相互作用をカバーするため、7つの新規に収集または改変されたデータセットも含む26のデータセットが統合されています。
• 評価には標準化されたプロンプトテンプレートが使用され、入力長は数秒から数分まで変化させ、長文脈処理能力のテストが行われます。
• ベンチマークには400時間を超える音声と10万件を超えるサンプルが含まれており、包括的なモデル評価が可能になっています。
• 自動評価指標（例：WER、METEOR）と、モデルがジャッジとして機能する人間を介した評価（例：LLaMA-3-8B-Instruct）を組み合わせ、オープンエンド生成の品質を評価しています。
• 本研究では、エンドツーエンドとキャスケードアーキテクチャの両方を用いた4つのオープンソースモデル（Whisper+Llama3、SALMONN、Qwen-Audio、WavLLM）を比較しています。

実験結果

リサーチクエスチョン

• RQ1 現在のAudioLLMは、スピーク、ボイス、環境音理解を含む多様な音声理解タスクに、どれほど一般化できるか？
• RQ2 異なる音声入力タイプと長さにおいて、エンドツーエンドアーキテクチャとキャスケードアーキテクチャの間で性能格差はどの程度あるか？
• RQ3 LLaMA-3などのオープンソースのモデルがジャッジとしてのアプローチは、GPT-4に比べてどれほど効果的であり、人間の判断とどの程度相関しているか？
• RQ4 どのデータセットと評価指標が、AudioLLMの本物の世界の指示従い能力を最もよく反映しているか？
• RQ5 複雑なマルチモーダル音声入力に直面した際、現在のAudioLLMの主な制限要因と失敗モードは何か？

主な発見

• 1つのAudioLLMが8つのタスクすべてで優れた性能を発揮していることはなく、一般化能力および耐性の面で大きな改善余地があることが示された。
• Whisper+Llama3のキャスケードモデルは、いくつかのASRタスクでエンドツーエンドモデルを上回り、LibriSpeech-CleanでWERが1.83を記録した。これはモジュラー設計の価値を裏付けている。
• LLaMA-3-8B-Instructは、GPT-4と比較してプロンプトジャッジとしての相関が高く、より信頼性が高くコスト効率に優れた代替評価プロキシであることが判明した。
• WavCapsとAudioCapsのデータセットは、音声キャプションタスクで優れた性能を示し、LLaMA-3モデルをジャッジとして使用した場合、METEORスコアはそれぞれ21.36および22.79であった。
• 感情・センチメント認識タスク（例：IEMOCAP-Emotion、MELD）では、M.J.8Bスケールで約1.5のスコアを示し、副言語的理解の難易度が顕在化した。
• ベンチマークの結果から、現在のモデルは長時間の音声入力に対して苦戦していることが判明した。Tedlium3-LongformではWERが25.88に達しており、文脈保持能力の制限が顕在化している。