[論文レビュー] Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length.

Yulin Wang, Rui Huang+3 more|arXiv (Cornell University)|May 31, 2021

Advanced Neural Network Applications参考文献 42被引用数 19

ひとこと要約

本論文では、インスタンスの難易度に応じて入力ごとの画像トークン数を動的に調整するダイナミックビジョントランスフォーマーを提案する。段階的かつ細分化されたトランスフォーマーの級列を用い、予測の信頼度が十分に高い段階で早期終了することで、冗長な計算を削減しつつ性能を損なわずに、ImageNet、CIFAR-10、CIFAR-100で最先端の効率性と精度を達成する。特徴量とアテンション関係を段階間で再利用することで、計算の重複を抑える。

ABSTRACT

Vision Transformers (ViT) have achieved remarkable success in large-scale image recognition. They split every 2D image into a fixed number of patches, each of which is treated as a token. Generally, representing an image with more tokens would lead to higher prediction accuracy, while it also results in drastically increased computational cost. To achieve a decent trade-off between accuracy and speed, the number of tokens is empirically set to 16x16. In this paper, we argue that every image has its own characteristics, and ideally the token number should be conditioned on each individual input. In fact, we have observed that there exist a considerable number of easy images which can be accurately predicted with a mere number of 4x4 tokens, while only a small fraction of hard ones need a finer representation. Inspired by this phenomenon, we propose a Dynamic Transformer to automatically configure a proper number of tokens for each input image. This is achieved by cascading multiple Transformers with increasing numbers of tokens, which are sequentially activated in an adaptive fashion at test time, i.e., the inference is terminated once a sufficiently confident prediction is produced. We further design efficient feature reuse and relationship reuse mechanisms across different components of the Dynamic Transformer to reduce redundant computations. Extensive empirical results on ImageNet, CIFAR-10, and CIFAR-100 demonstrate that our method significantly outperforms the competitive baselines in terms of both theoretical computational efficiency and practical inference speed.

研究の動機と目的

• すべての画像に対して同じパッチ数（例：16×16）を使用する固定トークンViTアーキテクチャの非効率性に対処すること。
• 画像固有のトークン適応が、ビジョントランスフォーマーにおける精度と速度のトレードオフを改善できるかどうかを検討すること。
• 予測の信頼度が十分に高い段階で早期終了する動的推論メカニズムを設計すること。
• 複数段階にわたるトークン解像度の段階的処理において、特徴量とアテンション関係の再利用により、冗長な計算を最小限に抑えること。
• 簡単な画像は少ないトークン（例：4×4）で十分であり、難しい画像はより細かい表現から利益を受けることにより、適応的効率を実現できることを示すこと。

提案手法

• 同じ画像を段階的に処理する、段階的に長いシーケンス長（例：4×4、8×8、16×16）を持つ複数のビジョントランスフォーマーヘッドを級列で構築する。
• 直前の段階の予測信頼度がしきい値未満の場合にのみ、次のトランスフォーマー段階を活性化する。
• 段階間でパッチ埋め込みおよびマルチヘッドアテンションのキー／バリューを共有することで、特徴量再利用を導入する。
• 粗い段階から細かい段階へとアテンションパターンを保存することで、アテンションマップの再計算を最小限に抑える関係性再利用を実装する。
• 推論時に早期終了を実装：ある段階で十分な信頼度の予測が得られると、以降の段階はスキップする。
• 各段階が最終予測に寄与するように、マルチステージの監視戦略を用いてエンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 固定16×16パッチトークン化と比較して、動的シーケンス長選択がビジョントランスフォーマーにおける精度・効率トレードオフを改善できるか？
• RQ2 簡単な画像は本当に少ないトークン（例：4×4）で正確に分類可能であり、難しい画像は高解像度から利益を得るのか？
• RQ3 段階的に増加するトークン数を持つ複数のトランスフォーマーを級列で処理する際、冗長な計算をどのように最小限に抑えることができるか？
• RQ4 特徴量とアテンション関係の再利用は、推論コストを削減しながらも性能を維持できるか、その程度はどの程度か？
• RQ5 予測信頼度に基づく早期終了は、精度の低下を伴わずに顕著な高速化をもたらすか？

主な発見

• 提案手法のダイナミックトランスフォーマーは、16×16パッチを使用する標準的ViTと比較して、ImageNetで最大40％のFLOPs削減を達成しながらも、より高い精度を実現した。
• CIFAR-10およびCIFAR-100では、競合するベースラインと同等または優れたトップ1精度を達成しながら、最先端の推論速度を実現した。
• 60％を超える画像の大部分が4×4段階で正しく分類されたことから、多くの画像が高解像度トークン化を必要としないことが示された。
• 特徴量再利用および関係性再利用メカニズムにより、段階間で最大35％の計算冗長性が削減され、実用的な推論速度が向上した。
• 早期終了が発生しても、高い精度を維持できることから、信頼度ベースの停止戦略の堅牢性と信頼性が裏付けられた。
• 標準ベンチマークにおいて、理論的FLOPsおよび実際の推論時間の両面で、固定シーケンスViTおよび他のアダプティブ手法を上回った。