[論文レビュー] Efficiency 360: Efficient Vision Transformers

Badri N. Patro, Vijay Srinivas Agneeswaran|arXiv (Cornell University)|Feb 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、メモリ効率、計算コスト、精度、耐障害性、公平性、プライバシー、透明性、包括性を含む10の工業的次元をカバーする包括的フレームワーク「Efficiency 360」を紹介する。ImageNet-1K、CIFAR、Oxfordデータセットにおけるパラメータ数、FLOPs、性能の観点から20以上のビジョントランスフォーマー・モデルをベンチマークした結果、より大きなモデル（例：ViT-H、CvT-24）およびImageNet-22Kでの事前学習が転移学習性能を向上させることを示した。一方、長距離ベンチマーク（LRA）ではビジョントランスフォーマーに顕著な課題が見られた。

ABSTRACT

Transformers are widely used for solving tasks in natural language processing, computer vision, speech, and music domains. In this paper, we talk about the efficiency of transformers in terms of memory (the number of parameters), computation cost (number of floating points operations), and performance of models, including accuracy, the robustness of the model, and fair \& bias-free features. We mainly discuss the vision transformer for the image classification task. Our contribution is to introduce an efficient 360 framework, which includes various aspects of the vision transformer, to make it more efficient for industrial applications. By considering those applications, we categorize them into multiple dimensions such as privacy, robustness, transparency, fairness, inclusiveness, continual learning, probabilistic models, approximation, computational complexity, and spectral complexity. We compare various vision transformer models based on their performance, the number of parameters, and the number of floating point operations (FLOPs) on multiple datasets.

研究の動機と目的

• 精度やFLOPs以外の複数の工業的効率次元にわたるビジョントランスフォーマーの評価を統合するフレームワークの開発。
• 標準的なビジョンデータセット（ImageNet-1K、CIFAR、Oxford）において、パラメータ数、FLOPs、性能の観点から最先端のビジョントランスフォーマーをベンチマーク化すること。
• モデルサイズおよび事前学習データ（ImageNet-1K 対 ImageNet-22K）が転移学習性能に与える影響を調査すること。
• Long Range Arena（LRA）ベンチマークを用いてビジョントランスフォーマーの長距離文脈処理能力を評価し、その限界を明らかにすること。
• 公平性、プライバシー、透明性、および効率的トランスフォーマーのマルチモーダル応用分野における未解決の研究課題を同定すること。

提案手法

• 10の次元（耐障害性、プライバシー、公平性、透明性、包括性、継続的学習、確率的モデリング、近似、計算複雑性、スペクトル複雑性）を統合した360度評価システム「Efficiency 360」フレームワークを提案。
• アーキテクチャ、アテンションタイプ（グローバル／ローカル）、位置埋め込み、ネットワーク構造（等方的／ピラミッド型）、および追加ラベル（例：スペクトルゲーティング、プーリング）に基づいて20以上のビジョントランスフォーマー・モデルを比較。
• 標準ベンチマークを用いる：画像分類のためのImageNet-1K、小規模評価のためのCIFAR-10/100、細粒度認識のためのOxford-IIIT-Flowers/Pets。
• Long Range Arena（LRA）ベンチマークを用いてモデル性能を評価し、画像のシーケンスを含む多様なモodal における長距離推論をテスト。
• DeiTベースの推論における注意に基づく説明の可視化と解釈可能性を高めるためにGrad-CAMを用いる。
• ViTおよびCvTモデルにおける層ごとのアーキテクチャ的挙動を分析し、深さおよびパッチサイズが性能に与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 標準的なビジョンベンチマークにおいて、異なるビジョントランスフォーマー・アーキテクチャはパラメータ数、FLOPs、精度の観点でどのように比較されるか？
• RQ2 ImageNet-22Kで事前学習した場合、ImageNet-1Kに比べて一貫して転移学習性能が向上するのか？その理由はデータスケールかモデル容量に起因するのか？
• RQ3 Long Range Arena（LRA）ベンチマークを用いた場合、ビジョントランスフォーマーは長距離視覚シーケンスにどの程度一般化できるか？
• RQ4 長時間シーケンス処理において、現在のビジョントランスフォーマーに顕在する主な非効率要因は何か？また、NLP最適化済みの効率的トランスフォーマーと比較してどう異なるか？
• RQ5 Efficiency 360フレームワークは、将来的なビジョントランスフォーマーの公平性、プライバシー、透明性の向上にどのように貢献できるか？

主な発見

• より大きなビジョントランスフォーマー・バージョン（例：ViT-H、CvT-24）は、ImageNet-1Kおよび細粒度データセットにおいて、より小さなバージョン（ViT-Base、CvT-13）を上回る性能を示しており、モデルスケールが性能向上に寄与していることを示唆している。
• 16ピクセルのパッチサイズを用いたViT-Hは、ImageNet-1KにおいてViT-BaseおよびViT-Largeを上回る精度を達成しており、パッチサイズの最適化が性能に与える影響が重要であることを示している。
• CvT-24はCvT-13およびCvT-21を上回る性能を示しており、複数のデータセットにおいてモデル容量の増大が結果の向上に寄与しているという傾向を裏付けている。
• ImageNet-22Kで事前学習した場合、ImageNet-1Kに比べて一貫して高い転移学習性能が得られるとは限らず、その理由はまだ明確でない。モデルアーキテクチャやデータ分布の違いが要因である可能性がある。
• ビジョントランスフォーマーはLong Range Arena（LRA）ベンチマークにおいて、特にPath-Xや画像シーケンス分類といった視覚的タスクで低い性能を示しており、長距離モデリング能力に限界があることが明らかになった。
• 最近のビジョントランスフォーマー（例：Swin、CSwin、RegionViT）は、LRAベンチマークで評価されていないことが判明し、長距離視覚推論分野における研究ギャップが浮き彫りになった。