[論文レビュー] Efficient Multimodal Large Language Models: A Survey

Yizhang Jin, Jian Li+11 more|arXiv (Cornell University)|May 17, 2024

Natural Language Processing Techniques被引用数 14

ひとこと要約

効率的なマルチモーダル大規模言語モデル（MLLMs）の包括的な調査で、アーキテクチャ、効率的な視覚・言語コンポーネント、訓練/データのベンチマーク、応用、分類法と将来の方向性を詳述。

ABSTRACT

In the past year, Multimodal Large Language Models (MLLMs) have demonstrated remarkable performance in tasks such as visual question answering, visual understanding and reasoning. However, the extensive model size and high training and inference costs have hindered the widespread application of MLLMs in academia and industry. Thus, studying efficient and lightweight MLLMs has enormous potential, especially in edge computing scenarios. In this survey, we provide a comprehensive and systematic review of the current state of efficient MLLMs. Specifically, we summarize the timeline of representative efficient MLLMs, research state of efficient structures and strategies, and the applications. Finally, we discuss the limitations of current efficient MLLM research and promising future directions. Please refer to our GitHub repository for more details: https://github.com/lijiannuist/Efficient-Multimodal-LLMs-Survey.

研究の動機と目的

• 高い訓練・推論コストのため、資源効率の高いMLLMの必要性を動機づける。
• アーキテクチャ、視覚、LLMs、訓練、データ、ベンチマーク、応用にわたる効率的MLLMの体系的分類法を提供する。
• 研究と展開を導くために、代表的な効率的MLLMとその構成要素を要約する。
• エッジ対応MLLMの進展を促進するために、限界と今後の方向性を強調する。

提案手法

• 既存文献を六つのカテゴリに整理する：アーキテクチャ、効率的視覚、効率的LLMs、訓練、データとベンチマーク、応用。
• 効率的MLLMの各構成要素を説明する：視覚エンコーダ、視覚言語プロジェクター、そして小規模言語モデル。
• トークン圧縮、コンパクトなアーキテクチャ、効率的な構造（例：MoE、Mamba、推論加速）に関する手法を調査する。
• 効率的MLLMで用いられる視覚エンコーダ、プロジェクション手法、軽量なLLMバックボーンのバリエーションを比較する。
• 事前訓練と評価に使用されるデータとベンチマークを議論し、実用的な応用を列挙する。

実験結果

リサーチクエスチョン

• RQ1 資源効率の高いMLLMが大きな性能低下を伴わずに実現するためのアーキテクチャと構成要素は何か？
• RQ2 どの視覚エンコーダ、プロジェクション戦略、コンパクトなLLMが最良の効率-精度トレードオフをもたらすか？
• RQ3 どの訓練戦略、データ、ベンチマークが効率的MLLMを支え、どの程度スケールするか？
• RQ4 現在の効率的MLLMのエッジやリソース制約環境での実用的な応用と限界は何か？

主な発見

• 効率的MLLMは、コンパクトなLLMバックボーン（しばしば3B未満のパラメータ）と軽量な視覚言語プロジェクターを用いることでリソース消費を削減する。
• 種々の視覚エンコーダとクロスモーダル融合戦略は競争力のある結果を生み出す可能性があり、特定のタスクで一つのエンコーダが一貫して優位とはならない。
• 視覚トークン圧縮、多視点入力、マルチスケール情報統合は、計算を大幅に削減しつつ性能を維持する。
• MoEやMambaのような効率的構造と推論加速技術は、スケーラブルで高速なマルチモーダル推論を実現する。
• 包括的な分類法とGitHubリポジトリが最先端手法を整理し、継続的な更新と再現性を促進する。