[論文レビュー] MetaFormer Is Actually What You Need for Vision

Weihao Yu, Mi Luo+6 more|arXiv (Cornell University)|Nov 22, 2021

Advanced Neural Network Applications参考文献 54被引用数 28

ひとこと要約

この論文は Transformers を一般的な MetaFormer アーキテクチャへと抽象化し、単純な pooling ベースのトークンミキサー（PoolFormer）でさえ競争力のある視覚性能を発揮することを示し、MetaFormer を強力な視覚モデルの鍵として強調する。

ABSTRACT

Transformers have shown great potential in computer vision tasks. A common belief is their attention-based token mixer module contributes most to their competence. However, recent works show the attention-based module in Transformers can be replaced by spatial MLPs and the resulted models still perform quite well. Based on this observation, we hypothesize that the general architecture of the Transformers, instead of the specific token mixer module, is more essential to the model's performance. To verify this, we deliberately replace the attention module in Transformers with an embarrassingly simple spatial pooling operator to conduct only basic token mixing. Surprisingly, we observe that the derived model, termed as PoolFormer, achieves competitive performance on multiple computer vision tasks. For example, on ImageNet-1K, PoolFormer achieves 82.1% top-1 accuracy, surpassing well-tuned Vision Transformer/MLP-like baselines DeiT-B/ResMLP-B24 by 0.3%/1.1% accuracy with 35%/52% fewer parameters and 50%/62% fewer MACs. The effectiveness of PoolFormer verifies our hypothesis and urges us to initiate the concept of "MetaFormer", a general architecture abstracted from Transformers without specifying the token mixer. Based on the extensive experiments, we argue that MetaFormer is the key player in achieving superior results for recent Transformer and MLP-like models on vision tasks. This work calls for more future research dedicated to improving MetaFormer instead of focusing on the token mixer modules. Additionally, our proposed PoolFormer could serve as a starting baseline for future MetaFormer architecture design. Code is available at https://github.com/sail-sg/poolformer.

研究の動機と目的

• Vision Models の一般的なアーキテクチャを提案し、トークンミキサーを全体設計から分離する（MetaFormer）。
• 単純で学習しない pooling 演算子が MetaFormer の有効なトークンミキサーになり得るかを調査する。
• PoolFormer を ViT/MLP 系のベースラインと比較し、画像分類、物体検出、インスタンス分割、セマンティック分割の各タスクで empirical に比較する。

提案手法

• MetaFormer をトークンミキサーが未指定の Transformer 風アーキテクチャとして定義し、標準的な残差/MLP コンポーネントを組み込む。
• MetaFormer を pooling ベースのトークンミキサー（PoolFormer）で具体化し、アーキテクチャ自体の役割を評価する。
• Embed dimensio ns とブロック数を変化させた 4 段階の階層型 PoolFormer 設計（S12, S24, S36, M36, M48）とデフォルトの pooling サイズ 3 を用いる。
• データ拡張・AdamW 最適化・チャンネル優先データ用の Layer Normalization（MLN）を用いて ImageNet-1K で学習する。
• ImageNet-1K、COCO（RetinaNet, Mask R-CNN）、ADE20K（セマンティック分割）で評価し、視覚タスク全般への generalization を評価する。
• トークンミキサー、正規化、活性化、ステージ構成を変えたアブレーションを実施し、MetaFormer の影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 MetaFormer の一般的なアーキテクチャが、特定のトークンミキサーとは独立して、視覚タスク全体の性能を主に左右する要因なのか？
• RQ2 pooling ベースのトークンミキサー（PoolFormer）は、注意機構を用いる Transformer や MLP 的モデルと競合する性能を達成できるのか？
• RQ3 PoolFormer は分類、検出/分割、セマンティック分割のベンチマークで、最先端のベースラインと比較してどうか？

主な発見

• PoolFormer は単純な pooling トークンミキサーで ImageNet-1K top-1 精度を競合させ、MACs/パラメータ数で DeiT-B および ResMLP-B24 ベースラインを上回る。
• PoolFormer-S24 は 21M パラメータと 3.4G MACs で 80.3% の top-1 を達成し、同様の予算下で ViT/MLP 系ベースラインを上回る。
• PoolFormer-M36 は 56.1M パラメータと 8.8G MACs で 82.1% の top-1 に達し、リソースを抑えつついくつかの強力なベースラインを上回る。
• PoolFormer-M48 は 73.4M パラメータと 11.6G MACs で 82.5% の top-1 に達し、競争力のある傾向を維持する。
• アブレーションにより、トークンミキサーとして同一性マッピングを用いても 74.3% top-1 を達成することが示され、MetaFormer アーキテクチャ自体が性能を主に左右するという主張を裏付ける。