[論文レビュー] Ovis: Structural Embedding Alignment for Multimodal Large Language Model

Shiyin Lu, Yang Li+5 more|arXiv (Cornell University)|May 31, 2024

Topic Modeling被引用数 4

ひとこと要約

Ovisは、学習可能な視覚埋め込みテーブルを導入することで、視覚的および言語的埋め込みを構造的に整合させる、新しいマルチモーダル大規模言語モデルアーキテクチャを提案する。これにより、視覚トークンが離散的な視覚的「語」に確率的にマッピングされ、LLMのトークン化と類似する。この手法により、最先端の性能が達成され、Ovis-14Bは同サイズのオープンソースモデルおよび特許権を有するQwen-VL-Plusを複数のベンチマークで上回る。

ABSTRACT

Current Multimodal Large Language Models (MLLMs) typically integrate a pre-trained LLM with another pre-trained vision transformer through a connector, such as an MLP, endowing the LLM with visual capabilities. However, the misalignment between two embedding strategies in MLLMs -- the structural textual embeddings based on an embedding look-up table and the continuous embeddings generated directly by the vision encoder -- makes challenges for a more seamless fusion of visual and textual information. We propose Ovis, a novel MLLM architecture designed to structurally align visual and textual embeddings. Ovis integrates an additional learnable visual embedding table into the visual encoder's process. To capture rich visual semantics, each image patch indexes the visual embedding table multiple times, resulting in a final visual embedding that is a probabilistic combination of the indexed embeddings. This structural approach mirrors the method used for generating textual embeddings. Empirical evaluations on various multimodal benchmarks show that Ovis outperforms open-source MLLMs of similar parameter scales and even surpasses the proprietary model Qwen-VL-Plus overall. These results highlight the potential of Ovis' structured visual representation for advancing MLLM architectural design and promoting more effective multimodal learning. Code, datasets, and models are available at https://github.com/AIDC-AI/Ovis.

研究の動機と目的

• 現在のMLLMにおいて、検索テーブルに基づく構造的言語埋め込みと、ビジョンエンコーダーからの非構造的視覚埋め込みの間にある本質的不整合を是正すること。
• LLMにおける言語埋め込みの構造的原則を視覚埋め込み生成に適用することで、マルチモーダル統合を改善すること。
• 統一された埋め込み戦略を通じて、視覚と言語の表現統合をより効果的かつ一貫性を持って行えるようにすること。
• 高解像度画像強化技術に依存せずに、マルチモーダルベンチマークで優れた性能を達成すること。

提案手法

• 各行が異なる視覚パターンに対応する一意の視覚的語を表す、学習可能な視覚埋め込み検索テーブルを導入する。
• ビジョンエンコーダーからの連続的視覚トークンを、視覚語彙全体との類似度を示す確率的トークンにマッピングする。
• 確率的トークンを用いて視覚埋め込みテーブルを複数回インデックスし、インデックスされた埋め込みの重み付き組み合わせとして最終的な視覚埋め込みを生成する。
• 補助的目標（例：ベクトル量子化）を必要とせず、テキスト生成損失を用いて視覚埋め込みテーブルと確率的マッピングパラメータを同時に学習する。
• テキスト生成との整合性を保ちつつ視覚表現品質を維持するため、3段階の訓練プロセスでモデルを最適化する。
• 標準のビジョントランスフォーマー（ViT）とLLMバックボーンを用い、視覚埋め込みテーブルをビジョンエンコーダーの処理パイプラインに統合する。

Figure 1 : Comparison between different embedding strategies in MLLM. In the connector-based approach (a), the connector transforms the visual embeddings into the same dimensional as the textual embedding, where the latter is indexed from a textual embedding table. As illustrated in (b), our Ovis le

実験結果

リサーチクエスチョン

• RQ1 言語埋め込みの検索テーブル戦略を模倣するように視覚埋め込みを構造化することで、MLLMにおけるマルチモーダル推論が向上するか？
• RQ2 パrameter数が同一の条件下で、学習可能な視覚埋め込みテーブルは、従来のコネクタベースアーキテクチャを上回る性能を発揮するか？
• RQ3 高解像度画像強化技術を用いない状態で、構造的に整合された視覚埋め込みアプローチが、Qwen-VL-Plusのような高リソース特許モデルを上回るか？
• RQ4 提案アーキテクチャは、推論に特化したおよび幻覚に敏感なベンチマークにおいて、既存のオープンソースMLLMと比較してどのように性能を発揮するか？

主な発見

• Ovis-14Bは、複数のマルチモーダルベンチマーク全体で、同サイズのオープンソースモデルおよび特許権を有するQwen-VL-Plusを上回る性能を発揮する。
• Ovis-8Bは、7BクラスのオープンソースMLLMと比較して、特に推論および事実的正確性タスクで顕著な性能差を示す。
• MathVista-Miniベンチマークでは、Ovisはオープンソース競合と比較して優れた数学的および論理的推論能力を示す。
• RealWorldQAベンチマークでは、Ovis-14Bが高解像度の現実世界視覚タスクにおいてGPT4Vを上回るスコアを達成しており、強力な実用的視覚理解能力を示している。
• 幻覚ベンチマークでは、Ovis-8BおよびOvis-14Bは、それぞれのパrameter階層におけるモデルの中で幻覚率が最も低い。
• アブレーションスタディの結果、Ovisは同じバックボーンとパrameter数を有するコネクタベースアーキテクチャを、全ベンチマーク平均で8.8%上回ることが確認された。

(a) 7B tier