[論文レビュー] LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

Yuzhang Shang, Mu Cai+3 more|arXiv (Cornell University)|Mar 22, 2024

Topic Modeling被引用数 5

ひとこと要約

この論文は、性能を維持しつつ視覚トークンを削減する適応的視覚トークン削減法であるPruMergeを提案し、平均約6.9%のトークンで類似の結果を達成可能である。

ABSTRACT

Large Multimodal Models (LMMs) have shown significant visual reasoning capabilities by connecting a visual encoder and a large language model. LMMs typically take in a fixed and large amount of visual tokens, such as the penultimate layer features in the CLIP visual encoder, as the prefix content. Recent LMMs incorporate more complex visual inputs, such as high-resolution images and videos, which further increases the number of visual tokens significantly. However, due to the inherent design of the Transformer architecture, the computational costs of these models tend to increase quadratically with the number of input tokens. To tackle this problem, we explore a token reduction mechanism that identifies significant spatial redundancy among visual tokens. In response, we propose PruMerge, a novel adaptive visual token reduction strategy that significantly reduces the number of visual tokens without compromising the performance of LMMs. Specifically, to metric the importance of each token, we exploit the sparsity observed in the visual encoder, characterized by the sparse distribution of attention scores between the class token and visual tokens. This sparsity enables us to dynamically select the most crucial visual tokens to retain. Subsequently, we cluster the selected (unpruned) tokens based on their key similarity and merge them with the unpruned tokens, effectively supplementing and enhancing their informational content. Empirically, when applied to LLaVA-1.5, our approach can compress the visual tokens by 14 times on average, and achieve comparable performance across diverse visual question-answering and reasoning tasks. Code and checkpoints are at https://llava-prumerge.github.io/.

研究の動機と目的

• 大規模マルチモーダルモデル（LMMs）における長い視覚トークン列による高い計算コストに対処する。
• 画像内容に基づいて情報量の多いトークンを選択する適応的トークン削減機構を開発する。
• 視覚質問応答と推論タスクの性能を大幅に削りつつモデル性能を保持する。
• 削除されたトークンの情報を補うトークン結合戦略を導入する。
• extensive retraining せずにLLaVA-1.5へのプラグアンドプレイ適用性を示す。

提案手法

• CLSトークンと空間トークンのアテンション分布を用いて重要な視覚トークンを識別するためにアウトライヤベースの選択（IQR）を用いる。
• CLSトークンへのアテンションに基づいて n に比べてずっと小さいターゲット m << n に適応的にトークンを剪定する。
• 選択されたトークンを k-nearest neighbors でクラスタリングし、重み付き平均でクラスタ中心を更新する（Token Supplement）。
• 剪定されたトークンを K のドット積類似性を用いて類似クラスタへ統合し、保持トークンを豊富にする。
• 減少したトークン regime によりLLMを更に微調整（LoRA）して適応性を高めることができる。
• PruMerge+ バリアントを提供し、追加トークンの空間的一様サンプリングを追加して性能を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 LMM で視覚トークンを削減しても、さまざまな VQA および推論ベンチマークで性能を維持できるか？
• RQ2 意味のあるモダリティ理解の悪化なしに、どれくらいトークン削減が可能か？
• RQ3 適応的トークン選択は、タスク間で固定または一様サンプリング戦略を上回るか？
• RQ4 剪定トークンのトークン結合は、過度の剪定による情報喪失を緩和できるか？

主な発見

手法	LLM	結果	PT	IT	VQA v2	SQA I	VQA T	POPE	MME	MMB
BLIP-2	Vicuna-13B	224	129M	-	41.0	61	42.5	85.3	1293.8	-
InstructBLIP	Vicuna-7B	224	129M	1.2M	-	60.5	50.1	-	-	36
InstructBLIP	Vicuna-13B	224	129M	1.2M	-	63.1	50.7	78.9	1212.8	-
Shikra	Vicuna-13B	224	600K	5.5M	77.4	-	-	-	-	58.8
IDEFICS-9B	LLaMA-7B	224	353M	1M	50.9	-	25.9	-	-	48.2
IDEFICS-80B	LLaMA-65B	224	353M	1M	60.0	-	30.9	-	-	54.5
Qwen-VL	Qwen-7B	448	1.4B	50M	78.8	67.1	63.8	-	-	38.2
Qwen-VL-Chat	Qwen-7B	448	1.4B	50M	78.2	68.2	61.5	-	1487.5	60.6
LLaVA-1.5	Vicuna-7B	336	558K	665K	78.5	66.8	58.2	85.9	1510.7	64.3
LLaVA-1.5 + PruMerge	Vicuna-7B	336	558K	665K	72.0	68.5	56.0	76.3	1350.3	60.9
LLaVA-1.5	Vicuna-13B	336	558K	665K	80.0	71.6	61.3	85.9	1531.3	67.7
LLaVA-1.5 + PruMerge	Vicuna-13B	336	558K	665K	72.8	71.0	58.4	78.5	1428.2	62.3
LLaVA-1.5 + PruMerge +	Vicuna-13B	336	558K	665K	77.8	71.0	58.6	84.4	1485.5	65.7

• LLaVA-1.5 に適用した場合、PruMerge は視覚トークンを約5.5%（平均約32トークン）に削減しつつ、性能を同等に維持する。
• 6つのベンチマークを通じて、LLaVA-PruMerge は元の LLaVA-1.5 と競合する結果を達成し、いくつかのベースライン（例：BLIP-2、InstructBLIP）を上回る。
• PruMerge+ はトークンをさらに削減（約4x）でき、トークン選択の拡張と空間サンプリングのおかげで性能の低下をほぼ防ぐ。
• 効率分析により FLOP/メモリ節約が顕著であり、ViT-7B/INT4 の場合、プレフィルと総コストが PruMerge 使用時に大幅に低下する。
• 微調整によって結果がさらに改善され、ScienceQA、TextVQA、POPE、MME などのタスクで性能が向上する可能性がある。