[論文レビュー] X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages

Feilong Chen, Minglun Han+5 more|arXiv (Cornell University)|May 7, 2023

Multimodal Machine Learning Applications被引用数 21

ひとこと要約

X-LLMは画像、動画、音声を言語のような表現（X2Lインタフェース）へ変換し、それらを凍結されたLLMと統合することで、 GPT-4–level のマルチモーダルチャット性能を、6B-parameter ChatGLMで実現する。

ABSTRACT

Large language models (LLMs) have demonstrated remarkable language abilities. GPT-4, based on advanced LLMs, exhibits extraordinary multimodal capabilities beyond previous visual language models. We attribute this to the use of more advanced LLMs compared with previous multimodal models. Unfortunately, the model architecture and training strategies of GPT-4 are unknown. To endow LLMs with multimodal capabilities, we propose X-LLM, which converts Multi-modalities (images, speech, videos) into foreign languages using X2L interfaces and inputs them into a large Language model (ChatGLM). Specifically, X-LLM aligns multiple frozen single-modal encoders and a frozen LLM using X2L interfaces, where ``X'' denotes multi-modalities such as image, speech, and videos, and ``L'' denotes languages. X-LLM's training consists of three stages: (1) Converting Multimodal Information: The first stage trains each X2L interface to align with its respective single-modal encoder separately to convert multimodal information into languages. (2) Aligning X2L representations with the LLM: single-modal encoders are aligned with the LLM through X2L interfaces independently. (3) Integrating multiple modalities: all single-modal encoders are aligned with the LLM through X2L interfaces to integrate multimodal capabilities into the LLM. Our experiments show that X-LLM demonstrates impressive multimodel chat abilities, sometimes exhibiting the behaviors of multimodal GPT-4 on unseen images/instructions, and yields a 84.5\% relative score compared with GPT-4 on a synthetic multimodal instruction-following dataset. And we also conduct quantitative tests on using LLM for ASR and multimodal ASR, hoping to promote the era of LLM-based speech recognition.

研究の動機と目的

• LLMのアーキテクチャを完全には再設計せずに、マルチモーダル機能を動機づけ、実現する。
• 視覚情報と聴覚情報をLLMの言語埋め込みへ変換する普遍的なX2Lフレームワークを提案する。
• エンコーダとLLMを凍結したまま軽量なインタフェースを訓練することで、強力なマルチモーダル性能を得られることを実証する。
• 英語のimage-textアライメントパラメータを中国語へ転送可能であることを示し、言語を跨ぐマルチモーダル学習を実現する。
• アクセス可能なオープンソースの中国語マルチモーダル指示データセットとベンチマークを提供し、LLMベースのマルチモーダル研究を推進する。

提案手法

• 凍結された単一モーダルエンコーダ（画像、動画、音声）を凍結されたLLMとX2Lインタフェース（画像インタフェース、動画インタフェース、音声インタフェース）を介して整合させる。
• BLIP-2のQ-Formerを用いて視覚情報を準言語的埋め込みへ変換し、LLMの次元に合わせるアダプターを用いる。
• CIFベースのASRをC-Formerとともに用いてトークンレベルの音声埋め込みを作成し、LLM空間へ写像するS-Adaptorを用いる。
• 三段階で訓練する：ステージ1はマルチモーダル情報を言語へ変換；ステージ2はX2LをLLMと整合；ステージ3はすべてのモダリティを統合し、コンパクトなマルチモーダル指示データセットで微調整。
• 画像-テキスト、音声-テキスト、動画-テキスト、および画像-テキスト-音声指示を含む高品質なマルチモーダル指示データセットを構築し、ターゲット微調整を行う。
• マルチモーダルチャットとASR機能を実証し、既存の視覚言語モデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル情報（画像、音声、動画）は効果的に言語風表現へ変換され、凍結されたLLMと統合できるか？
• RQ2 マルチモーダルLLMを構築する際に英語のimage-textアライメントパラメータを中国語へ転送することの影響は何か？
• RQ3 三段階のX2L（three-stage X2L）の訓練戦略は、LLMのマルチモーダル機能を誘導する際の共同マルチモーダル訓練と比較してどうか？
• RQ4 比較的小さめのLLM（6B parameters）は中国語タスクでGPT-4–levelのマルチモーダル性能をどの程度達成できるか？
• RQ5 簡潔なマルチモーダル指示データセットの導入は、マルチモーダル統合とタスク性能をさらに改善するか？

主な発見

モデル	会話	詳細説明	複雑な推論	全て
LLaVA	83.1	75.3	96.5	85.1
X-LLM	85.4	83.5	84.6	84.5
w/ 4M	74.8	83.7	86.5	81.9
w/ 4M no init	64.7	71.9	85.0	73.8

• X-LLMは合成マルチモーダル指示遵守データセットでGPT-4に近いマルチモーダルチャット機能を実現（相対スコア84.5%）。
• BLIP-2のQ-Formerパラメータを用いると、英語のimage-textアライメントを中国語へ効果的に転送するのに役立つ。
• 訓練時のimage-textデータを増やすと性能は向上するが、低品質データへの過度の依存は複雑な推論性能を低下させる可能性がある。
• X-LLMは強力な画像理解能力を示し、マルチモーダルな質問のために動画・音声入力へ拡張できる。
• ASRおよびマルチモーダルASRの結果はX-LLMが競争力を持つことを示すが、すべてのコンポーネントが共同訓練されていない場合はCIFベースのASRモデルに遅れをとる可能性がある。
• 3段階の訓練戦略は、限定的な共同マルチモーダルデータで効果的なマルチモーダル統合を可能にする。