[論文レビュー] MetaFormer Baselines for Vision

Weihao Yu, Chenyang Si+6 more|arXiv (Cornell University)|Oct 24, 2022

Advanced Neural Network Applications参考文献 101被引用数 33

ひとこと要約

この論文は基本的なトークンミキサーを用いた MetaFormer を研究し、固い下限を示し、ミキサーとの普遍的適合性を示し、CAFormer が ImageNet-1K で top-1 85.5% など最先端の結果を達成し、StarReLU の改善も含む。

ABSTRACT

MetaFormer, the abstracted architecture of Transformer, has been found to play a significant role in achieving competitive performance. In this paper, we further explore the capacity of MetaFormer, again, without focusing on token mixer design: we introduce several baseline models under MetaFormer using the most basic or common mixers, and summarize our observations as follows: (1) MetaFormer ensures solid lower bound of performance. By merely adopting identity mapping as the token mixer, the MetaFormer model, termed IdentityFormer, achieves >80% accuracy on ImageNet-1K. (2) MetaFormer works well with arbitrary token mixers. When specifying the token mixer as even a random matrix to mix tokens, the resulting model RandFormer yields an accuracy of >81%, outperforming IdentityFormer. Rest assured of MetaFormer's results when new token mixers are adopted. (3) MetaFormer effortlessly offers state-of-the-art results. With just conventional token mixers dated back five years ago, the models instantiated from MetaFormer already beat state of the art. (a) ConvFormer outperforms ConvNeXt. Taking the common depthwise separable convolutions as the token mixer, the model termed ConvFormer, which can be regarded as pure CNNs, outperforms the strong CNN model ConvNeXt. (b) CAFormer sets new record on ImageNet-1K. By simply applying depthwise separable convolutions as token mixer in the bottom stages and vanilla self-attention in the top stages, the resulting model CAFormer sets a new record on ImageNet-1K: it achieves an accuracy of 85.5% at 224x224 resolution, under normal supervised training without external data or distillation. In our expedition to probe MetaFormer, we also find that a new activation, StarReLU, reduces 71% FLOPs of activation compared with GELU yet achieves better performance. We expect StarReLU to find great potential in MetaFormer-like models alongside other neural networks.

研究の動機と目的

• 基本的または一般的なトークンミキサーを用いて MetaFormer の容量（能力）を調査する。
• MetaFormer がミキサー全体に対して性能の確かな下限を提供するかを評価する。
• 任意のトークンミキサーを用いた MetaFormer の普遍性を検証する。
• ConvFormer および CAFormer による従来型トークンミキサーを用いた最先端性能を実証する。
• MetaFormer の効率と精度を向上させるための活性化手法と学習手法（StarReLU、スケーリング）を導入する。

提案手法

• IdentityFormer および RandFormer を MetaFormer フレームワーク内の基本トークンミキサーの実装として形式化する。
• 異なる段階で分離畳み込みと通常の自己注意をトークンミキサーとして用いて ConvFormer と CAFormer を構築する。
• 4 段階の階層アーキテクチャを採用し、段階固有のブロック構成を使用する。
• 分布シフトに対する頑健性を高めつつ活性化 FLOPs を削減する低コストな活性化として StarReLU を導入する。
• 残差ブランチに ResScale 風のスケーリングを適用し、バイアスを無効化して学習を安定化させる。
• ImageNet-1K の標準的な拡張/訓練設定でベンチマークを行い、スケーラビリティ検証のために ImageNet-21K で事前学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 最小限またはランダムなトークンミキサーを使用した場合、MetaFormer は性能の確かな下限を生み出すか。
• RQ2 任意または旧式のトークンミキサー（例: ランダム、プール、分離畳み込み、注意機構）でも競争力のある性能を MetaFormer は維持できるか。
• RQ3 CNN風またはハイブリッドの MetaFormer 変種（ConvFormer、CAFormer）は従来の訓練の下で ImageNet-1K で最先端の結果を達成するか。
• RQ4 StarReLU とスケーリング手法が MetaFormer の効率と精度に与える影響は何か。

主な発見

• IdentityFormer は ImageNet-1K で 80.4% の top-1 精度を、73M パラメータと 11.5G MACs で達成します。
• RandFormer は 81.4% の top-1 精度に達し、IdentityFormer を上回っています。
• ConvFormer（分離畳み込み）は ConvNeXt を上回ることができる。
• CAFormer は ImageNet-1K の 224^2 で通常の教師あり訓練において、外部データや蒸留なしで 85.5% の top-1 精度という新記録を達成。
• StarReLU は GELU 比で活性化 FLOPs を約 71% 減らし、学習可能なスケール/バイアスとともに精度を改善できる。
• MetaFormer でレガシーなトークンミキサーを使用すると強力なベースラインが得られ、多様なミキサーとの普遍的な適合性を示す。