[論文レビュー] AutoFormer: Searching Transformers for Visual Recognition

Minghao Chen, Houwen Peng+2 more|arXiv (Cornell University)|Jul 1, 2021

Advanced Neural Network Applications参考文献 70被引用数 15

ひとこと要約

AutoFormerは、ビジョントランスフォーマー向けのワンショットニューラルアーキテクチャサーチフレームワークを提案し、新たなウェイトアンタングル戦略を用いることで、1つのスーパーネット内で数千ものサブネットワークを効果的に訓練可能にした。この手法により、再訓練を伴わずImageNetでSOTAの精度（トップ1正解率82.4%、パラメータ数53.7M）を達成し、ViT や DeiT といった従来の手作業で設計されたモデルを上回った。

ABSTRACT

Recently, pure transformer-based models have shown great potentials for vision tasks such as image classification and detection. However, the design of transformer networks is challenging. It has been observed that the depth, embedding dimension, and number of heads can largely affect the performance of vision transformers. Previous models configure these dimensions based upon manual crafting. In this work, we propose a new one-shot architecture search framework, namely AutoFormer, dedicated to vision transformer search. AutoFormer entangles the weights of different blocks in the same layers during supernet training. Benefiting from the strategy, the trained supernet allows thousands of subnets to be very well-trained. Specifically, the performance of these subnets with weights inherited from the supernet is comparable to those retrained from scratch. Besides, the searched models, which we refer to AutoFormers, surpass the recent state-of-the-arts such as ViT and DeiT. In particular, AutoFormer-tiny/small/base achieve 74.7%/81.7%/82.4% top-1 accuracy on ImageNet with 5.7M/22.9M/53.7M parameters, respectively. Lastly, we verify the transferability of AutoFormer by providing the performance on downstream benchmarks and distillation experiments. Code and models are available at https://github.com/microsoft/AutoML.

研究の動機と目的

• 手動によるハイパーパramータチューニングの限界を克服し、ビジョントランスフォーマーのアーキテクチャを自動設計すること。
• さまざまなリソース制約下で多様なトランスフォーマー・アーキテクチャを効率的に探索する課題に対処すること。
• 微調整や再訓練なしに直接推論が可能な、サブネットワークをサポートするスーパーネット訓練戦略を開発すること。
• 自動アーキテクチャサーチを通じて、画像分類および下流タスクにおけるモデル性能を向上させること。
• 探索されたモデルのベンチマーク間での転送性および distillation 潜力の実証すること。

提案手法

• ビジョントランスフォーマー向けに最適化されたワンショットアーキテクチャサーチフレームワーク、AutoFormerを提案する。
• 同じレイヤー内におけるブロック間でのウェイト共有を実現するウェイトアンタングル戦略を導入し、同時に最適化を可能にする。
• 深さ、埋め込み次元、ヘッド数、MLP比、クエリ/キー/バリュー次元を含む広大な探索空間を構築する。
• アンタングルドウェイトを用いた1つのスーパーネットを訓練し、サブネットワークが高品質なパラメータを直接継承可能にする。
• モデルサイズ制約の下で進化的探索を実施し、最適なアーキテクチャを同定する。
• 再訓練したサブネットワークと同等の性能を維持するトレーニングレシピを採用する。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーの独自なアーキテクチャ的特徴を考慮すると、ワンショットNASフレームワークが効果的に適用可能か？
• RQ2 スーパーネット訓練プロセスにおけるウェイトアンタングル戦略が、追加の微調整なしに良好に訓練されたサブネットワークを生成するか？
• RQ3 提案手法が、ViT や DeiT といった手作業で設計されたSOTAモデルを上回るビジョントランスフォーマー・アーキテクチャを発見できるか？
• RQ4 探索されたAutoFormersは、下流のビジョンタスクにおいてどれほど一般化性能を示すか？
• RQ5 ウェイトアンタングル戦略は、トランスフォーマー基盤モデル向けの既存のNAS手法よりも効果的か？

主な発見

• AutoFormer-tiny、small、baseは、それぞれImageNetでトップ1正解率74.7%、81.7%、82.4%を達成した。
• 22.9Mパラメータで、AutoFormer-smallはDeiT-S（81.7% vs. 79.9%）およびViT-S/16（81.7% vs. 78.8%）を上回った。
• スーパーネットから継承されたサブネットワークの性能は、再訓練から始められたものと同等であり、ウェイトアンタングル戦略の有効性が裏付けられた。
• AutoFormersは下流の分類ベンチマークへの転送性が強く、EfficientNetと同等またはそれ以上の結果を達成した。
• Distillation実験により、AutoFormersの性能がさらに向上した。これは、知識蒸留との相性が良いことを確認した。
• 提案されたウェイトアンタングル戦略により、正則化や蒸留などの追加技術なしに「一度の訓練で全構造をカバーする」パラダイムを実現した。