[論文レビュー] Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities

Zhifeng Kong, Arushi Goel+4 more|arXiv (Cornell University)|Feb 2, 2024

Speech and dialogue systems被引用数 4

ひとこと要約

Audio Flamingo は、大規模言語モデルと効率的なクロスアテンション統合を組み合わせることで、微調整なしに文脈学習、リtrieval増強生成、マルチターン対話が可能となる、革新的な音声言語モデルであり、音声理解分野で最先端の性能を達成している。パラメータ数を著しく削減したにもかかわらず、多様なベンチマークで先行モデルを上回っている。

ABSTRACT

Augmenting large language models (LLMs) to understand audio -- including non-speech sounds and non-verbal speech -- is critically important for diverse real-world applications of LLMs. In this paper, we propose Audio Flamingo, a novel audio language model with 1) strong audio understanding abilities, 2) the ability to quickly adapt to unseen tasks via in-context learning and retrieval, and 3) strong multi-turn dialogue abilities. We introduce a series of training techniques, architecture design, and data strategies to enhance our model with these abilities. Extensive evaluations across various audio understanding tasks confirm the efficacy of our method, setting new state-of-the-art benchmarks. Our demo website is https://audioflamingo.github.io/ and the code is open-sourced at https://github.com/NVIDIA/audio-flamingo.

研究の動機と目的

• 音声トランスクリプションをはるかに超えて、非言語的・非話者の音声を含む、強力な音声理解を大規模言語モデル（LLM）に拡張すること。
• 微調整なしに、文脈学習（ICL）およびリtrieval増強生成（RAG）を用いて、未学習の音声タスクへの少数ショット適応を可能にすること。
• 体系的で文脈豊かな対話データセットと教師あり微調整を用いて、強力なマルチターン対話能力をモデルに与えること。
• 従来のモデルが閉形式タスクと開放形式タスクの両方のパフォーマンスを妥協せざるを得ないという限界を克服すること。

提案手法

• 可変長の音声入力における時間的情報を保持するため、Elizalde 他 (2023b) のスライディングウィンドウ型音声特徴抽出器を導入する。
• クロスアテンション機構を用いて、LLMを音声特徴に条件づける。これにより、音声トークン数に対して線形な計算量を実現し、従来の二次的アプローチとは異なり、スケーラビリティに優れる。
• 2段階の訓練パイプラインを採用：まず、約590万件の音声・テキストペアからなる多様なデータセットで事前学習を行い、その後、タスク固有のデータで教師あり微調整（SFT）を実施する。
• インタレーブド文脈学習サンプルのための新規クロスアテンションマスクを設計し、取得した例の推論を向上させる。
• 取得した例と構造化されたプロンプトテンプレートを用いて、インタレーブド ICL データセットを構築し、少数ショット一般化を可能にする。
• GPT-4 を用いて文脈的に豊かでアノテーション済みの対話を生成し、2つのマルチターン対話データセットを構築。これにより、Audio Flamingo の会話性能を微調整する。

Figure 1 : Audio Flamingo versus previous state-of-the-art (Deshmukh et al., 2023 ; Chu et al., 2023 ; Gong et al., 2023b , c ; Tang et al., 2023a ; Ghosh et al., 2023 ) on a number of audio understanding benchmarks. The numbers are normalized such that the maximum of all models is $100\%$ on each t

実験結果

リサーチクエスチョン

• RQ1 1つの音声言語モデルが、閉形式および開放形式の両方のベンチマークをカバーする多様な音声理解タスクで優れたパフォーマンスを達成できるか？
• RQ2 文脈学習とリtrievalを用いて、タスク固有の微調整なしに、未学習のタスクに一般化できるか？
• RQ3 会話履歴の文脈を的確に把握し、一貫性があり、強力な推論と記憶能力を持つマルチターン対話が可能か？
• RQ4 パrameter効率性とパフォーマンスの観点から、従来の手法と比較して、モデルのアーキテクチャと訓練戦略はどのように優れているか？

主な発見

• Audio Flamingo は、複数の音声理解ベンチマークで新たな最先端の結果を達成し、Chu 他 (2023) や Gong 他 (2023c) の先行モデルを上回っている。
• パラメータ数を先行の最先端モデルの3分の1未満に抑えたにもかかわらず、最先端のパフォーマンスを達成しており、高いパrameter効率性を示している。
• 少数ショット学習の設定下でも、ノイズが混じったか、誤りのある取得例が存在する中で、音楽ジャンル（例：ポップ）や楽器（例：フルート）を正しく特定している。
• 対話用バージョンの Audio Flamingo は、ベースラインを著しく上回り、重複する鳥の鳴き声と会話音声を正しく識別し、発声の特徴や音楽ジャンルを正確に記述している。
• 複雑な音声シーンの区別においても、鳥の鳴き声、動物の鳴き声、人間の会話音声を的確に区別し、重複するイベントを正しく特定している。
• リtrieval増強型文脈学習の導入により、取得例が部分的に誤りであっても、正確な推論が可能であり、優れた一般化能力とノイズ耐性を示している。

Figure 2 : Neural architecture of Audio Flamingo. It takes interleaved audio and text as input and outputs free-form text.