[論文レビュー] Qwen2-Audio Technical Report

Yunfei Chu, Jin Xu+10 more|arXiv (Cornell University)|Jul 15, 2024

Music Technology and Sound Studies被引用数 4

ひとこと要約

Qwen2-Audio は、事前学習、インstructチューニング、直接的好み最適化において自然言語プロンプトを活用することで、音声理解および音声対話分野で最先端のパフォーマンスを達成する大規模な音声言語モデルです。タスク固有の微調整を必要とせず、音声チャットモードおよび音声分析モードの両方で優れた性能を発揮し、AIR-Bench チャットベンチマークで Gemini-1.5-pro よりも優れており、ASR、音声翻訳、音声分類タスクにおいても最先端の結果を達成しています。

ABSTRACT

We introduce the latest progress of Qwen-Audio, a large-scale audio-language model called Qwen2-Audio, which is capable of accepting various audio signal inputs and performing audio analysis or direct textual responses with regard to speech instructions. In contrast to complex hierarchical tags, we have simplified the pre-training process by utilizing natural language prompts for different data and tasks, and have further expanded the data volume. We have boosted the instruction-following capability of Qwen2-Audio and implemented two distinct audio interaction modes for voice chat and audio analysis. In the voice chat mode, users can freely engage in voice interactions with Qwen2-Audio without text input. In the audio analysis mode, users could provide audio and text instructions for analysis during the interaction. Note that we do not use any system prompts to switch between voice chat and audio analysis modes. Qwen2-Audio is capable of intelligently comprehending the content within audio and following voice commands to respond appropriately. For instance, in an audio segment that simultaneously contains sounds, multi-speaker conversations, and a voice command, Qwen2-Audio can directly understand the command and provide an interpretation and response to the audio. Additionally, DPO has optimized the model's performance in terms of factuality and adherence to desired behavior. According to the evaluation results from AIR-Bench, Qwen2-Audio outperformed previous SOTAs, such as Gemini-1.5-pro, in tests focused on audio-centric instruction-following capabilities. Qwen2-Audio is open-sourced with the aim of fostering the advancement of the multi-modal language community.

研究の動機と目的

• 多様な音声入力に対応する大規模音声言語モデル（LALM）のインstructフォローアップ能力を向上させること。
• 音声チャットと音声分析の2つの統一された音声対話モードを通じて、モードに依存しないシームレスな対話体験を実現すること。
• 階層的タスクタグの代わりに自然言語プロンプトを採用することで、事前学習パイプラインを簡素化し、学習効率と一般化性能を向上させること。
• 直接的好み最適化（DPO）を活用して、応答品質と事実の整合性を向上させること。
• タスク固有の微調整なしに、複数の音声中心のベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• 事前学習では、多様なデータとタスクを統一するために自然言語プロンプトを活用し、複雑な階層的タグの代わりにします。
• 音声エンコーダーは Whisper-large-v3 から初期化され、16kHzの音声を40msの時間分解能を持つ128チャンネルのメルスペクトログラムに変換します。
• 2段階の訓練プロセスを採用：高品質で多様なインstructデータを用いた教師あり微調整（SFT）と、人間の好みに合わせた出力を得るための直接的好み最適化（DPO）。
• モデルは条件付き言語モデルの目的関数を採用：音声表現と過去のテキストトークンを前提として、次のテキストトークンの確率を最大化します。
• 音声入力はストライド2のプーリング層を経由して処理され、系列長を短縮しながらも時間分解能を保持します。
• モデルは、明示的なシステムプロンプトなしに、音声チャットと音声分析の2つの機能モードで動作します。

Figure 1 : Performance of Qwen2-Audio, Qwen-Audio and previous top-tiers from LALMs such as SpeechT5 (Ao et al., 2021 ) , SpeechNet (Chen et al., 2021 ) , SpeechLLaMA (Wu et al., 2023a ) , SALMONN (Tang et al., 2024 ) , Whisper (Radford et al., 2023 ) Pengi (Deshmukh et al., 2023 ) , and SpeechVerse

実験結果

リサーチクエスチョン

• RQ1 自然言語プロンプトは、LALMにおける事前学習の際、階層的タスクタグの代わりに用いることで、学習パイプラインの簡素化と一般化性能の向上に寄与するか？
• RQ2 統一された音声言語モデルは、タスク固有の微調整なしに、音声チャットと音声分析の両方で優れたパフォーマンスを達成できるか、その程度は？
• RQ3 直接的好み最適化（DPO）は、音声言語生成における事実の整合性と人間の好みへの適合性をどのように向上させるか？
• RQ4 Qwen2-Audio は、複数ドメインの音声ベンチマーク、特に複雑な混合音声シナリオにおいて、どの程度のパフォーマンスを示すか？
• RQ5 Qwen2-Audio は、Gemini-1.5-pro や Whisper-large-v3 といった既存の最先端モデルよりも、インストラクションフォローアップおよび音声理解タスクで優れているか？

主な発見

• LibriSpeech test-clean では 1.6% の WER を達成し、従来のモデルを上回っています。
• CoVoST2 では、全7方向の翻訳において最高の平均 BLEU スコアを記録し、従来のベースラインを上回っています。
• VSC タスクでは 0.9392 の正確度を達成し、Qwen-Audio（0.9289）と Pengi（0.6035）を大きく上回っています。
• AIR-Bench チャットベンチマークでは、音声サブセットで 7.18、サウンドで 6.99、音楽で 6.79、混合音声で 6.77 のスコアを記録し、Gemini-1.5-pro や他の最先端モデルを上回っています。
• SER タスクでは Meld データセットで 0.553 の正確度を達成し、Qwen-Audio（0.557）を上回り、WavLM-large（0.542）よりも優れています。
• Qwen2-Audio は混合音声解析においても頑健であり、明示的なセグメンテーションなしに、複数の音源が重なった複雑な音声クリップにおいても、コマンドや音声を正しく特定しています。

Figure 2 : The overview of three-stage training process of Qwen2-Audio.