[논문 리뷰] MetaFormer Baselines for Vision

Weihao Yu, Chenyang Si외 6명|arXiv (Cornell University)|2022. 10. 24.

Advanced Neural Network Applications참고 문헌 101인용 수 33

한 줄 요약

이 논문은 기본 토큰 믹서를 가진 MetaFormer를 연구하여 견고한 하한, 믹서와의 보편적 호환성, CAFormer가 ImageNet-1K에서 85.5% top-1 달성 등의 최첨단 결과와 StarReLU 개선을 보인다.

ABSTRACT

MetaFormer, the abstracted architecture of Transformer, has been found to play a significant role in achieving competitive performance. In this paper, we further explore the capacity of MetaFormer, again, without focusing on token mixer design: we introduce several baseline models under MetaFormer using the most basic or common mixers, and summarize our observations as follows: (1) MetaFormer ensures solid lower bound of performance. By merely adopting identity mapping as the token mixer, the MetaFormer model, termed IdentityFormer, achieves >80% accuracy on ImageNet-1K. (2) MetaFormer works well with arbitrary token mixers. When specifying the token mixer as even a random matrix to mix tokens, the resulting model RandFormer yields an accuracy of >81%, outperforming IdentityFormer. Rest assured of MetaFormer's results when new token mixers are adopted. (3) MetaFormer effortlessly offers state-of-the-art results. With just conventional token mixers dated back five years ago, the models instantiated from MetaFormer already beat state of the art. (a) ConvFormer outperforms ConvNeXt. Taking the common depthwise separable convolutions as the token mixer, the model termed ConvFormer, which can be regarded as pure CNNs, outperforms the strong CNN model ConvNeXt. (b) CAFormer sets new record on ImageNet-1K. By simply applying depthwise separable convolutions as token mixer in the bottom stages and vanilla self-attention in the top stages, the resulting model CAFormer sets a new record on ImageNet-1K: it achieves an accuracy of 85.5% at 224x224 resolution, under normal supervised training without external data or distillation. In our expedition to probe MetaFormer, we also find that a new activation, StarReLU, reduces 71% FLOPs of activation compared with GELU yet achieves better performance. We expect StarReLU to find great potential in MetaFormer-like models alongside other neural networks.

연구 동기 및 목표

• 기본적이거나 일반적인 토큰 믹서를 사용하여 MetaFormer의 표현력/용량을 조사한다.
• 다양한 믹서에 걸쳐 MetaFormer가 성능의 견고한 하한을 제공하는지 평가한다.
• 임의의 토큰 믹서와 함께 MetaFormer의 보편성을 검사한다.
• ConvFormer와 CAFormer를 통해 전통적 토큰 믹서를 사용하여 최첨단 성능을 입증한다.
• MetaFormer의 효율성과 정확도를 향상시키기 위한 활성화 및 학습 기법(StarReLU, scaling)을 도입한다.

제안 방법

• IdentityFormer와 RandFormer를 MetaFormer 프레임워크 내의 기본 토큰-믹서 인스턴스로 형식화한다.
• 다양한 단계에서 분리 가능한 합성곱과 일반적인 셀프 어텐션을 토큰 믹서로 사용하여 ConvFormer와 CAFormer를 구성한다.
• 스테이지별 블록 구성으로 4단계 계층 구조를 채택한다.
• 활성화 FLOPs를 줄이고 분포 시프트에 대한 견고성을 높이기 위해 저비용 활성화인 StarReLU를 도입한다.
• 잔여 분지에 ResScale 스타일의 스케일링을 적용하고 바이어스를 비활성화하여 학습을 안정화한다.
• 표준 증강/학습 설정으로 ImageNet-1K에서 벤치마크를 수행하고 확장성 테스트를 위해 ImageNet-21K에서 사전 학습을 수행한다.

실험 결과

연구 질문

• RQ1 최소한의 또는 임의의 토큰 믹서를 사용할 때 MetaFormer가 성능에 대한 견고한 하한을 제공하는가?
• RQ2 임의의 또는 구형 토큰 믹서(예: 무작위, 풀링, 분리 가능 컨브, 어텐션)에서도 MetaFormer가 경쟁력 있는 성능을 유지할 수 있는가?
• RQ3 CNN 유사 또는 하이브리드 형태의 MetaFormer 변형(ConvFormer, CAFormer)이 일반적인 학습 하에서 ImageNet-1K에서 최첨단 성과를 달성하는가?
• RQ4 StarReLU와 스케일링 기법이 MetaFormer의 효율성과 정확도에 미치는 영향은 무엇인가?

주요 결과

• IdentityFormer는 73M 매개변수와 11.5G MACs로 ImageNet-1K에서 80.4% top-1 정확도를 달성한다.
• RandFormer는 81.4% top-1 정확도에 도달하여 IdentityFormer를 능가한다.
• ConvFormer(분리 가능한 합성곱)는 ConvNeXt를 능가할 수 있다.
• CAFormer는 224^2에서 외부 데이터나 증류 없이 일반 감독 학습으로 ImageNet-1K에서 85.5% top-1 정확도의 새로운 기록을 달성한다.
• StarReLU는 GELU에 비해 활성화 FLOPs를 약 71% 줄이고, 학습 가능한 scale/bias를 사용하면 정확도를 향상시킬 수 있다.
• MetaFormer에서 레거시 토큰 믹서를 사용하면 강력한 베이스라인을 제공하고 다양한 믹서와의 보편적 호환성을 보여준다.