[論文レビュー] LLaSM: Large Language and Speech Model

Yu Shu, Siwei Dong+6 more|arXiv (Cornell University)|Aug 30, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

LLaSM は、中国語および英語の両方の話した指示を直接理解し応答できる大規模でエンド・ツー・エンドに訓練されたマルチモーダル音声・言語モデルです。凍結された Whisper エンコーダからの音声埋め込みと学習可能なモダリティアダプタを介したテキスト埋め込みを統合することで、音声からテキストへの変換を必要とせず、クロスモダリティ指令追従を実現しています。新しく公開された LLaSM-Audio-Instructions データセット（508,000 件の音声・テキストサンプルを含む）がこれを支援しています。

ABSTRACT

Multi-modal large language models have garnered significant interest recently. Though, most of the works focus on vision-language multi-modal models providing strong capabilities in following vision-and-language instructions. However, we claim that speech is also an important modality through which humans interact with the world. Hence, it is crucial for a general-purpose assistant to be able to follow multi-modal speech-and-language instructions. In this work, we propose Large Language and Speech Model (LLaSM). LLaSM is an end-to-end trained large multi-modal speech-language model with cross-modal conversational abilities, capable of following speech-and-language instructions. Our early experiments show that LLaSM demonstrates a more convenient and natural way for humans to interact with artificial intelligence. Specifically, we also release a large Speech Instruction Following dataset LLaSM-Audio-Instructions. Code and demo are available at https://github.com/LinkSoul-AI/LLaSM and https://huggingface.co/spaces/LinkSoul/LLaSM. The LLaSM-Audio-Instructions dataset is available at https://huggingface.co/datasets/LinkSoul/LLaSM-Audio-Instructions.

研究の動機と目的

• 自然なマルチモーダル会話において、話された指示を理解し応答できる汎用的な AI 助手の開発。
• 特に多言語環境において、大規模でオープンソースの音声・テキスト指令追従データセットの不足に対処すること。
• 音声認識（ASR）を前処理ステップとして依存せずに、音声入力をエンド・ツー・エンドで処理すること。
• 中国語および英語の両方で、直接的で自然かつ効率的な音声ベースの通信を可能にすることで、人間と AI 間の対話を向上させること。
• 事前学習済みコンponents（Whisper, LLaMA）を活用し、最小限のファインチューニングで実現できるリソース効率の良いフレームワークの構築。

提案手法

• 凍結された Whisper エンコーダからの音声埋め込みと、凍結された LLaMA モデルからのテキスト埋め込みを、学習可能なモダリティアダプタで一致させる。
• 音声およびテキスト埋め込みを交互に並べたシーケンスに結合し、監視付きファインチューニングのために LLM に供給する。
• 訓練は2段階で実施：まず、公的 ASR データセットを用いたモダリティ適応事前学習段階、次に音声・テキスト指令データを用いたクロスモダリティ指令ファインチューニング段階。
• LLaSM-Audio-Instructions データセットは、高品質な言語のみの指令データをフィルタリングし、テキストから音声への変換（TTS）技術を用いて音声を生成することで構築された。
• 指令ファインチューニング中に、凍結された音声エンコーダと更新されたモダリティアダプタおよび LLM パrameters を用いて、エンド・ツー・エンドでファインチューニングされる。
• マルチモーダルシーケンスに直接生の音声信号を処理することで、ASR パイプラインに起因する情報損失を回避する。

実験結果

リサーチクエスチョン

• RQ1 音声からテキストへの変換に依存せずに、大規模言語モデルが話された指示を効果的に理解し応答できるか。
• RQ2 モダリティアダプタは、クロスモダリティ指令追従のための事前学習済み音声およびテキスト埋め込みをどれほど効果的に一致させられるか。
• RQ3 大規模で多言語対応の音声・テキスト指令データセットは、マルチモーダル LLM のパフォーマンスにどのような影響を与えるか。
• RQ4 凍結されたエンコーダと軽量アダプタを用いたリソース効率の良い訓練戦略が、音声・言語指令追従において強力なパフォーマンスを達成できるか。
• RQ5 特に中国語のような低リソース環境において、モデルの多言語への一般化性能はどの程度か。

主な発見

• LLaSM は中間段階の ASR ステップを必要とせず、直接音声・言語指令追従を実現しており、誤差の伝搬と情報損失が低減されている。
• モデルは高い滑らかさと関連性を示す二か国語（中国語および英語）の音声入力に対応する強力なバイリンガル能力を示している。
• LLaSM-Audio-Instructions データセットには 199,000 件の会話と 508,000 サンプルが含まれており、中国語および英語の音声・テキスト指令追従分野で最も大規模な既知のオープンソースデータセットである。
• 2段階の訓練戦略（モダリティ適応事前学習 → 指令ファインチューニング）により、最小限の計算コストで効率的なパラメータ更新が可能である。
• ゼロショットおよびフェイシュート設定においても、多様な音声および言語指令に強く一般化する性能を示している。
• 凍結された Whisper エンコーダとファインチューニングされたモダリティアダプタおよび LLM を統合することで、最小限の再訓練で高品質なエンド・ツー・エンドのマルチモーダル理解が実現可能である。