[論文レビュー] From CLIP to DINO: Visual Encoders Shout in Multi-modal Large Language Models

Dongsheng Jiang, Yuchen Liu+7 more|arXiv (Cornell University)|Oct 13, 2023

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

この論文は、CLIP、DINOv2、MAE、DeiT などの異なる視覚エンコーダがMLLMの視覚ブランとしてどのように機能するかを分析し、浅いCLIPと DINOv2ベースのアプローチでのMLP整合が細かなタスクで優れていることを見出し、CLIPとDINOv2の特徴を統合するCOMMを提案して、マルチモーダル理解を向上させる。

ABSTRACT

Multi-modal Large Language Models (MLLMs) have made significant strides in expanding the capabilities of Large Language Models (LLMs) through the incorporation of visual perception interfaces. Despite the emergence of exciting applications and the availability of diverse instruction tuning data, existing approaches often rely on CLIP or its variants as the visual branch, and merely extract features from the deep layers. However, these methods lack a comprehensive analysis of the visual encoders in MLLMs. In this paper, we conduct an extensive investigation into the effectiveness of different vision encoders within MLLMs. Our findings reveal that the shallow layer features of CLIP offer particular advantages for fine-grained tasks such as grounding and region understanding. Surprisingly, the vision-only model DINO, which is not pretrained with text-image alignment, demonstrates promising performance as a visual branch within MLLMs. By simply equipping it with an MLP layer for alignment, DINO surpasses CLIP in fine-grained related perception tasks. Building upon these observations, we propose a simple yet effective feature merging strategy, named COMM, that integrates CLIP and DINO with Multi-level features Merging, to enhance the visual capabilities of MLLMs. We evaluate COMM through comprehensive experiments on a wide range of benchmarks, including image captioning, visual question answering, visual grounding, and object hallucination. Experimental results demonstrate the superior performance of COMM compared to existing methods, showcasing its enhanced visual capabilities within MLLMs.

研究の動機と目的

• 様々な視覚的基盤モデルがマルチモーダルLLMsの性能に与える影響を調査する。
• 細部理解とグローバル理解に寄与する層の特徴（浅い vs 深い）を特定する。
• CLIPとDINOv2を組み合わせた統合戦略が、視覚認識を向上させる可能性を評価する。

提案手法

• Evaluate multiple vision encoders (CLIP, DINOv2, MAE, DeiT) as visual branches in ViT-Large based MLLMs. - Extract features from different layers and align via linear projection or MLP for DINOv2. - Test on REC, REG, POPE, VQA, and captioning benchmarks. - Propose multi-level feature merging (MFM) strategies including LLN-Layerscale and variants. - Build COMM by fusing CLIP and DINOv2 features with an MLP alignment for DINOv2 and a linear projection for CLIP. - Train in two stages with vision encoder frozen and LLM/alignment modules tuned.
• - Use LLN-Layerscale with MLP to align DINOv2 features and concatenate with CLIP features. - Downsample vision features to 14x14 tokens for LLM input. - Use linear layer to match feature dimensions before LLM input. - Train with AdamW, cosine decay, batch size 64, on 8 A800 GPUs.

実験結果

リサーチクエスチョン

• RQ1 浅いCLIP特徴は、深い特徴と比較して grounding および領域理解に利点を提供するか？
• RQ2 最小限の整合でDINOv2のような視覚のみモデルがMLLMsの効果的な視覚ブランとして機能できるか？
• RQ3 多層特徴融合（COMM）を通じてCLIPとDINOv2を統合することは、VLタスク全体で単一モデルの視覚ブランを上回るか？
• RQ4 REC、REG、POPE、VQA、キャプショニングに対する多層特徴融合戦略の影響は？

主な発見

視覚モデル	平均 REC	平均 POPE	COCO	Flickr30k	MME CS	MME PS	VQAv2	OK-VQA
CLIP	47.3	82.3	125.0	80.7	209.6	1107.8	68.8	44.2
DINOv2	54.8	78.3	118.0	68.9	261.8	930.5	63.1	41.9
CLIP w/ MFM	70.0	83.4	125.8	81.0	296.6	1164.4	69.5	44.7
DINOv2 w/ MFM	72.8	83.3	123.4	76.3	252.9	1086.8	68.0	42.1
COMM	72.8	83.6	127.3	81.9	360.4	1234.9	70.1	45.0

• 浅いCLIP特徴は grounding や領域理解などの細粒度タスクを改善する一方で、深い特徴はグローバルな理解に優れる。
• DINOv2はMLP整合を用いることで、視覚のみのブランとしてRECで強い性能を発揮し、POPEとREGでも競争力のある結果を示す。
• LLN-Layerscale-MLPを含む多層特徴融合（MFM）は、CLIPとDINOv2のVLタスクにおける性能を大幅に向上させる。
• 提案されたCOMMによるCLIPとDINOv2の統合は、REC、REG、POPE、VQA、キャプショニングのベンチマークで単一視覚ブランのベースラインを上回る。
• COMMはより小さなLLMと少ないデータでも最先端または競争力のある結果を達成し、いくつかの専門SOTAと比較して有利になる。
• COMMはオブジェクト幻視を低減し、細粒度の知覚を改善する。複数のベンチマークで実証されている。