[論文レビュー] OneLLM: One Framework to Align All Modalities with Language

Jiaming Han, Kaixiong Gong+7 more|arXiv (Cornell University)|Dec 6, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

OneLLMは、1つのユニバーサルエンコーダーとプロジェクションモジュールを用いて、画像、動画、音声、点群、深度/ノーマルマップ、IMU、fMRIの8種類の多様なモダリティを大規模言語モデルと統一的に統合するフレームワークを提示する。動的ルーティングとモダリティトークンを備えたユニバーサルプロジェクションモジュールを活用することで、最小限のパラメータオーバーヘッドで25のマルチモーダルベンチマークで最先端の性能を達成し、スケーラブルで統一的なMLLMアーキテクチャの実現可能性を示している。

ABSTRACT

Multimodal large language models (MLLMs) have gained significant attention due to their strong multimodal understanding capability. However, existing works rely heavily on modality-specific encoders, which usually differ in architecture and are limited to common modalities. In this paper, we present OneLLM, an MLLM that aligns eight modalities to language using a unified framework. We achieve this through a unified multimodal encoder and a progressive multimodal alignment pipeline. In detail, we first train an image projection module to connect a vision encoder with LLM. Then, we build a universal projection module (UPM) by mixing multiple image projection modules and dynamic routing. Finally, we progressively align more modalities to LLM with the UPM. To fully leverage the potential of OneLLM in following instructions, we also curated a comprehensive multimodal instruction dataset, including 2M items from image, audio, video, point cloud, depth/normal map, IMU and fMRI brain activity. OneLLM is evaluated on 25 diverse benchmarks, encompassing tasks such as multimodal captioning, question answering and reasoning, where it delivers excellent performance. Code, data, model and online demo are available at https://github.com/csuhan/OneLLM

研究の動機と目的

• 既存のマルチモーダルLLMにおけるモダリティ特化型エンコーダーの制限を解決すること。これによりスケーラビリティが制限され、各モダリティごとに別々のアーキテクチャを必要としている。
• 1つのユニバーサルエンコーダーとプロジェクションモジュールが、多様なモダリティを大規模言語モデルに効果的に統合できるかを検証すること。
• 各モダリティごとにアーキテクチャを再設計せず、広範なモダリティをサポートできるスケーラブルで統一されたフレームワークを構築すること。
• 8つのモダリティをカバーする包括的な200万サンプルのマルチモーダルインstructデータセットを収集・活用し、エンドツーエンドのインstructチューニングを実現すること。
• 複数のモダリティ、特に低リソースのモダリティ（fMRI や IMU を含む）を同時に学習することで、パラメータ共有と知識移譲により性能が向上するかを実証すること。

提案手法

• 各入力モダリティを1次元のトークンシーケンスに変換するための軽量なモダリティトークナイザーを導入。この処理には1層の畳み込み層を用いる。
• 学習可能なモダリティトークンを導入することで、モダリティ切り替えが可能になり、入力長の可変性を固定長のシーケンスに正規化できる。
• すべてのモダリティで共通の表現学習者として機能する、凍結されたCLIP-ViTバックボーンに基づくユニバーサルエンコーダーを採用。
• 複数の画像プロジェクションエキスパートを混合し、動的ルーターを用いてエキスパートの寄与をゲート制御することで、ソフトなエキスパートの混合（mixture-of-experts）を構築したユニバーサルプロジェクションモジュール（UPM）を設計。
• 段階的な学習戦略を採用：まずビジョンLLMを事前学習し、次にUPMとモダリティ特化チューニングを用いて他のモダリティに拡張。
• 8つのモダリティにわたる200万サンプルのスケーラブルかつ多様なインstructデータセットを収集し、エンドツーエンドのインstructチューニングを実現。

Figure 1 : Comparisons of Different Multimodal LLMs. Vision LLM: one image encoder and projection module. Multimodal (MM) LLM: modality-specific encoder and projection module. OneLLM : a universal encoder, a universal projection module and modality tokens $\{\mathrm{modal}\}$ to switch between modal

実験結果

リサーチクエスチョン

• RQ1 1つのユニバーサルエンコーダーは、音声、動画、点群、IMU、fMRIなど、視覚的でない多様なモダリティを大規模言語モデルと効果的に統合できるか？
• RQ2 動的ルーティングを備えた統一プロジェクションモジュールは、パラメータ効率性と一般化性能において、モダリティ特化型プロジェクションヘッドを上回るか？
• RQ3 fMRI や IMU のような低データモダリティを含む複数のモダリティを同時に学習することで、パラメータ共有と知識移譲により性能が向上するか？
• RQ4 共有コンponentsを有する統一フレームワークは、アーキテクチャの複雑さをどれだけ軽減できるか。また、多様なベンチマークで性能を維持または向上させられるか？
• RQ5 スケーラビリティ、パラメータ効率性、モダリティカバレッジの観点から、既存のMLLMと比較して、本フレームワークはどの程度優れているか？

主な発見

• OneLLMは、8つのモダリティにわたる25の多様なマルチモーダルベンチマーク（キャプション生成、質疑応答、推論タスクなど）で最先端の性能を達成した。
• fMRI や IMU のような低リソースモダリティにおいても強力な性能を発揮し、パラメータ共有と共同学習の恩恵を示した。
• アブレーションスタディにより、統一フレームワークを用いて全モダリティを同時に学習させることで、特にデータが乏しいモダリティの性能が向上することが確認された。
• OneLLMはエンコーダーにたった0.6Bパラメータ、および1つのプロジェクションモジュールのみを用いており、モダリティ特化コンponentsを有する先行モデルに比べて顕著に少ない。
• 動的ルーティングを備えたユニバーサルプロジェクションモジュールは、効果的なクロスマダリティ適応を可能にし、固定またはモダリティ特化型プロジェクションヘッドを上回る性能を示した。
• 収集した200万サンプルのインstructデータセットにより、全8モダリティで強力なインstructフォローアップ能力が実現され、多様なタスクで一貫した性能を発揮した。

Figure 2 : The Architecture of OneLLM . OneLLM consists of modality tokenizers, a universal encoder, a universal projection module (UPM) and an LLM. The modality tokenizer is a 2D/1D convolution layer to transform the input signal into a sequence of tokens. For simplicity, we omit video, depth/norma