[論文レビュー] VisionLLaMA: A Unified LLaMA Backbone for Vision Tasks

Xiangxiang Chu, Jianlin Su+2 more|arXiv (Cornell University)|Mar 1, 2024

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

VisionLLaMAは、LLaMA言語モデルをインspiredした統合型ビジョントランスフォーマー・アーキテクチャを導入し、画像分類、検出、セグメンテーション、拡散ベースの生成を含む多様なビジョンタスクにおいて、効率的かつ効果的な性能を実現します。LLaMAのトランスフォーマー設計を、新規の2次元回転位置エンコーディング（AS2DRoPE）で適応させることで、アーキテクチャの装飾を加えずとも、高速な収束と最先端のパフォーマンスを達成しています。

ABSTRACT

Large language models are built on top of a transformer-based architecture to process textual inputs. For example, the LLaMA stands out among many open-source implementations. Can the same transformer be used to process 2D images? In this paper, we answer this question by unveiling a LLaMA-like vision transformer in plain and pyramid forms, termed VisionLLaMA, which is tailored for this purpose. VisionLLaMA is a unified and generic modelling framework for solving most vision tasks. We extensively evaluate its effectiveness using typical pre-training paradigms in a good portion of downstream tasks of image perception and especially image generation. In many cases, VisionLLaMA have exhibited substantial gains over the previous state-of-the-art vision transformers. We believe that VisionLLaMA can serve as a strong new baseline model for vision generation and understanding. Our code is released at https://github.com/Meituan-AutoML/VisionLLaMA.

研究の動機と目的

• ビジョンモデルと言語モデルのアーキテクチャ的ギャップを埋めるために、LLaMAトランスフォーマー・アーキテクチャを2次元画像入力に適応すること。
• 1つのバックボーンで複数のビジョンタスクを解決する汎用的で統合的なフレームワークを構築し、モダリティ特化型の設計複雑性を低減すること。
• RMSNorm、SwiGLU、RoPEといったLLaMAのアーキテクチャ的強みを活用することで、ビジョンタスクにおける学習効率とパフォーマンスを向上させること。
• 新規の位置エンコーディング方式（AS2DRoPE）を用いて、多様な画像解像度に対するゼロショット一般化を可能にすること。

提案手法

• LLaMAに類似したアーキテクチャを備えたビジョントランスフォーマー、すなわちRMSNorm、SwiGLU、および回転位置埋め込み（RoPE）を含み、2次元画像データに適応させたVisionLLaMAを提案する。
• AS2DRoPE（自己スケーリング2次元RoPE）を導入し、補間スケーリングにより任意の入力解像度をサポートする学習可能な2次元回転位置エンコーディングを実現する。
• ViTとSwinトランスフォーマー風のパラダイムを比較するため、通常型とピラミッド型の両方のバックボーン設計を採用する。
• ImageNetおよびLAIONデータセット上で、MAEおよび対照的学習を含む教師ありおよび自己教師あり事前学習にVisionLLaMAを適用する。
• DiTおよびSiTの拡散モデルにVisionLLaMAを統合し、CLIPエンコーダーを用いた潜在拡散によるテキストから画像への生成を実現する。
• LLaMA風の最適化を採用する統一されたトレーニングパイプラインを構築：自己教師あり事前学習に続き、RLHFに類似した適応を伴う教師あり微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 1D対2D、通常型対ピラミッド型というモダリティ構造の違いがあるにもかかわらず、LLaMAトランスフォーマー・アーキテクチャが2次元ビジョンタスクに効果的に適応可能かどうか。
• RQ2 AS2DRoPEは、標準的な2次元sin-cos位置エンコーディングおよびNTKベースのRoPEと比較して、解像度間の一般化性能および収束速度においてどのように差を示すか。
• RQ3 VisionLLaMAは、ViT、DeiT、Swinなどの既存のビジョントランスフォーマーと比較して、教師ありおよび自己教師あり事前学習の両設定において、多様なビジョンタスクで優れた性能を示すか。
• RQ4 VisionLLaMAは、特に忠実度と学習効率の観点から、拡散ベースの画像生成の強力なバックボーンとして機能できるか。
• RQ5 標準的なViTと比較して、VisionLLaMAがなぜ高速な収束と向上したパフォーマンスを達成できるのか、理論的および実証的根拠は何か。

主な発見

• ピラミッド型スモールモデルを用いて、同じトレーニング設定下でImageNet-1Kでトップ-1精度81.6％を達成し、ViT-BaseおよびDeiT3-Largeを上回った。
• DiT-LLaMA-XLを用いた画像生成では、分類器フリーのガイドランス（CFG）比4.0で、高忠実度の256×256画像を生成し、強力な生成能力を示した。
• VisionLLaMAはViTおよびDeiT3-Largeよりも高速に収束し、拡散学習においてSiT-LLaMAは30万ステップでViTが40万ステップで達成する性能を上回った。
• AS2DRoPE位置エンコーディングにより、任意の解像度（例：224×224、384×384、512×512）でのゼロショット評価が可能となり、微調整なしで512×512解像度で79.5％のトップ-1精度を達成した。
• MAE事前学習において、800エポックにわたり、VisionLLaMAはViT-Baseよりも低いトレーニング損失を維持し、より安定的かつ効率的な最適化を示した。
• 理論的分析により、VisionLLaMAにおけるRoPEベースのアテンション機構は、加法的位置エンコーディングと比較して、コンテンツと位置の相互作用を低減しており、より高速かつ効果的な学習が可能であることが示された。