[論文レビュー] LLaVA-UHD: an LMM Perceiving Any Aspect Ratio and High-Resolution Images

Ruyi Xu, Yuan Yao+8 more|arXiv (Cornell University)|Mar 18, 2024

Medical Imaging Techniques and ApplicationsMedicine被引用数 3

ひとこと要約

LLaVA-UHD は、モジュラー化された画像符号化戦略、視覚トークンの圧縮、空間的トークンの整理を通じて、任意のアスペクト比および高解像度画像の効率的認識を可能にする大規模なマルチモーダルモデルである。6.4ポイントのTextVQA精度向上を達成し、94%のLLaVA-1.5の計算量で672×1088解像度をサポートしており、2〜3倍のデータで学習されたモデルを上回る。

ABSTRACT

Visual encoding constitutes the basis of large multimodal models (LMMs) in understanding the visual world. Conventional LMMs process images in fixed sizes and limited resolutions, while recent explorations in this direction are limited in adaptivity, efficiency, and even correctness. In this work, we first take GPT-4V and LLaVA-1.5 as representative examples and expose systematic flaws rooted in their visual encoding strategy. To address the challenges, we present LLaVA-UHD, a large multimodal model that can efficiently perceive images in any aspect ratio and high resolution. LLaVA-UHD includes three key components: (1) An image modularization strategy that divides native-resolution images into smaller variable-sized slices for efficient and extensible encoding, (2) a compression module that further condenses image tokens from visual encoders, and (3) a spatial schema to organize slice tokens for LLMs. Comprehensive experiments show that LLaVA-UHD outperforms established LMMs trained with 2-3 orders of magnitude more data on 9 benchmarks. Notably, our model built on LLaVA-1.5 336x336 supports 6 times larger (i.e., 672x1088) resolution images using only 94% inference computation, and achieves 6.4 accuracy improvement on TextVQA. Moreover, the model can be efficiently trained in academic settings, within 23 hours on 8 A100 GPUs (vs. 26 hours of LLaVA-1.5). We make the data and code publicly available at https://github.com/thunlp/LLaVA-UHD.

研究の動機と目的

• 固定サイズおよび固定アスペクト比の視覚符号化に起因する、既存のLMMが高解像度および任意のアスペクト比の画像を処理する際の制限を克服すること。
• GPT-4V や LLaVA-1.5 といった先端モデルの視覚符号化戦略に内在する体系的な欠陥を特定・解明し、正しさの欠落や幻覚を引き起こす要因を明らかにすること。
• 視覚エンコーダーの能力を保持しつつ、多様な画像入力をサポートできるスケーラブルで効率的かつ適応可能なLMMアーキテクチャを構築すること。
• 学術的制約下でも効果的なインstructチューニングと学習を可能にし、ベースラインモデルと比較して学習時間を短縮すること。

提案手法

• ネイティブ解像度の画像を重複のない可変サイズのスライスに分割する画像モジュラー化戦略を導入し、パディングや歪みを回避する。
• 視覚エンコーダーからの視覚トークン数を圧縮するモジュールを採用し、LLMの推論コストを最小限に抑える。
• 画像スライスの相対的位置を符号化する空間スキーマを適用し、LLMが空間的レイアウトを推論できるようにする。
• パーセーバー・リサンプラーを用いて、圧縮されたスライストークンからの視覚特徴を集約し、LLMに供給する。
• 視覚エンコーダーのパラメータに対してもインストラクションチューニングを実施し、エンドツーエンドで学習することで、多様な画像分布への適応性を向上させる。
• 固定サイズの制約を避け、事前学習済みのCLIP-ViTエンコーダーと互換性を保ちつつ、高解像度入力をサポートする。

Figure 1: Experimental results of GPT-4V in identifying numbers of objects. Note that the dashed lines in (a) are for illustration purposes only, and not presented to GPT-4V.

実験結果

リサーチクエスチョン

• RQ1 GPT-4V や LLaVA-1.5 のようなモデルにおける高解像度画像理解における正しさの欠落の根本的原因は何か？
• RQ2 モジュラー化された画像符号化戦略は、任意のアスペクト比および高解像度画像の効率的かつ歪みのない処理を可能にするか？
• RQ3 画像スライストークンの圧縮および空間的整理は、下流のマルチモーダル推論性能にどのように影響するか？
• RQ4 視覚エンコーダーのパラメータに対するインストラクションチューニングは、多様な画像入力にわたる一般化性能をどの程度向上させるか？
• RQ5 既存のLMMと比較して、はるかに少ない学習データと計算量で最先端の性能を達成できるか？

主な発見

• LLaVA-UHD は、LLaVA-1.5 と比較して TextVQA で6.4ポイントの精度向上を達成し、微細な視覚理解能力が優れていることを示した。
• LLaVA-1.5 が要請する推論計算量の94%で672×1088解像度の画像を処理でき、コストはほぼ一定のまま高解像度を実現した。
• 9ベンチマークで2〜3桁の多様なデータで学習された既存のLMMを上回り、高いデータ効率性を示した。
• 8台のA100 GPUで23時間という学習時間を達成し、LLaVA-1.5 の26時間と比較して学習効率が向上した。
• 極端なアスペクト比に対しても高い性能を維持しており、画像のアスペクト比が正方形から離れるほど性能向上が顕著になった。
• 機械的分析により、GPT-4V や LLaVA-1.5 のようなモデルにおける幻覚や正しさの欠落の主な要因が視覚符号化戦略にあることが明らかになった。

Figure 2: Results on probing GPT-4V via continuously changing image resolutions.