[論文レビュー] A Comprehensive Study of Vision Transformers in Image Classification Tasks

Mahmoud I. Khalil, Khalil Ahmad+1 more|arXiv (Cornell University)|Dec 2, 2023

Machine Learning and Data Classification被引用数 7

ひとこと要約

本論文は、画像分類におけるビジョントランスフォーマー（ViT）の包括的サーベイを提示しており、初期の自己注意機構の応用から、ViT、スウィントランスフォーマー、DeiT、iGPTといった最先端モデルに至るまでの発展をたどっている。ImageNet、CIFAR-10、Flowersといったベンチマークで性能を評価し、ViT-Base/16がトップ-1正解率77.99%を達成し、Swin-LがImageNet-Realで87.32%を記録した一方で、効率性、評価の一貫性、一般化性能に関する主な課題を特定している。

ABSTRACT

Image Classification is a fundamental task in the field of computer vision that frequently serves as a benchmark for gauging advancements in Computer Vision. Over the past few years, significant progress has been made in image classification due to the emergence of deep learning. However, challenges still exist, such as modeling fine-grained visual information, high computation costs, the parallelism of the model, and inconsistent evaluation protocols across datasets. In this paper, we conduct a comprehensive survey of existing papers on Vision Transformers for image classification. We first introduce the popular image classification datasets that influenced the design of models. Then, we present Vision Transformers models in chronological order, starting with early attempts at adapting attention mechanism to vision tasks followed by the adoption of vision transformers, as they have demonstrated success in capturing intricate patterns and long-range dependencies within images. Finally, we discuss open problems and shed light on opportunities for image classification to facilitate new research ideas.

研究の動機と目的

• ビジョントランスフォーマーのモデルを、そのアーキテクチャの進化とデータセット上での性能の両面から体系的にレビューすること。
• 畳み込み演算の置き換えに寄与する自己注意機構および注意メカニズムの影響を、視覚的表現学習の文脈で分析すること。
• ImageNet、CIFAR-10、CIFAR-100、Flowersといった標準ベンチマーク上で、最先端のViTベースモデルの正確性と効率性を比較すること。
• 評価プロトコル、計算コスト、およびデータセット間でのモデル一般化に関する継続的な課題を同定すること。
• マルチモーダル事前学習（例：CLIP、iGPT）や効率性向上技術（例：ToMe、Hiera）といった、新たなトレンドを強調すること。

提案手法

• ビジョントランスフォーマー関連の100篇以上の論文をサーベイし、初期の自己注意応用から現代のViT変種に至るまでの時系列的整理を行う。
• モデルを3つのトレンドに分類する：(1) 本質的ViT変種（例：ViT、DeiT、CaiT）、(2) ヒエラルキー型モデル（例：スウィントランスフォーマー）、(3) マルチモーダルまたは効率的変種（例：iGPT、ToMe）。
• 標準指標を用いてモデルをベンチマークする：ImageNetおよびImageNet-Realにおけるトップ-1正解率、多ラベルタスクにおけるmAP、CIFARおよびFlowersにおける正解率。
• 一貫したプロトコルでモデルを評価する：データオーグメンテーション（ランダムクロップ、反転、色合いのずれ）、ランダムサンプリング、標準評価パイプラインへの準拠。
• 複数のデータセットにおける報告済み結果を比較し、ResNetベースラインと、深さやパッチサイズが異なるViT変種を含め、モデルの効率性と正確性を評価する。
• CaiT や DeiT などのモデルにおけるパッチ埋め込み、クラストークン、位置エンコーディング、クロス注意メカニズムといったアーキテクチャ的革新を分析する。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーのアーキテクチャは、初期の自己注意応用から、画像分類分野における現代の最先端モデルへとどのように進化したか？
• RQ2 ImageNet や CIFAR といった標準ベンチマークにおいて、ビジョントランスフォーマーと畳み込みネットワーク（例：ResNet）の性能を比較すると、どのような差が生じるか？
• RQ3 マルチモーダル事前学習手法（例：iGPT、CLIP）は、微調整なしでゼロショット一般化性能をどの程度向上させるか？
• RQ4 ToMe や Hiera といった効率性指向の手法は、ViTモデルの再訓練なしに推論速度とスループットをどのように向上させるか？
• RQ5 評価の一貫性、計算コスト、およびViTベースモデルにおける細部の視覚的特徴のモデリングに関する、継続的な課題は何か？

主な発見

• ViT-Base/16はImageNetで77.99%のトップ-1正解率を達成し、ImageNet-Realでは88.10%を記録し、最小限のインダクティブバイアスで強力な性能を示した。
• Swin-LはImageNet-Realで87.32%のトップ-1正解率を達成し、ViT-Base/16を上回り、階層的かつ局所的注意の利点を顕著に示した。
• 入力解像度384×384のDeiT-BaseはImageNetで84.90%のトップ-1正解率を達成し、入力解像度の向上に伴う性能向上を示した。
• iGPT-LはCIFAR-10で89.0%、CIFAR-100で88.51%の正解率を示し、画像生成タスクで事前学習されたにもかかわらず優れた性能を発揮した。
• EfficientNet-B7はImageNetで84.30%、ImageNet-Realで89.20%のトップ-1正解率を示し、比較のための強力なCNNベースラインを提供した。
• Swin-T、Swin-S、Swin-Bモデルは、深さと幅の増加に伴い一貫した性能向上を示し、Swin-BはImageNetで84.52%、ImageNet-Realで89.00%の正解率を達成した。