[논문 리뷰] MetaFormer Is Actually What You Need for Vision

Weihao Yu, Mi Luo외 6명|arXiv (Cornell University)|2021. 11. 22.

Advanced Neural Network Applications참고 문헌 54인용 수 28

한 줄 요약

논문은 트랜스포머를 일반화된 MetaFormer 아키텍처로 추상화하고, 간단한 풀링 기반 토큰 믹서(PoolFormer)도 경쟁력 있는 비전 성능을 낸다는 것을 보여주며, 강력한 비전 모델의 핵심은 MetaFormer이라는 점을 강조한다.

ABSTRACT

Transformers have shown great potential in computer vision tasks. A common belief is their attention-based token mixer module contributes most to their competence. However, recent works show the attention-based module in Transformers can be replaced by spatial MLPs and the resulted models still perform quite well. Based on this observation, we hypothesize that the general architecture of the Transformers, instead of the specific token mixer module, is more essential to the model's performance. To verify this, we deliberately replace the attention module in Transformers with an embarrassingly simple spatial pooling operator to conduct only basic token mixing. Surprisingly, we observe that the derived model, termed as PoolFormer, achieves competitive performance on multiple computer vision tasks. For example, on ImageNet-1K, PoolFormer achieves 82.1% top-1 accuracy, surpassing well-tuned Vision Transformer/MLP-like baselines DeiT-B/ResMLP-B24 by 0.3%/1.1% accuracy with 35%/52% fewer parameters and 50%/62% fewer MACs. The effectiveness of PoolFormer verifies our hypothesis and urges us to initiate the concept of "MetaFormer", a general architecture abstracted from Transformers without specifying the token mixer. Based on the extensive experiments, we argue that MetaFormer is the key player in achieving superior results for recent Transformer and MLP-like models on vision tasks. This work calls for more future research dedicated to improving MetaFormer instead of focusing on the token mixer modules. Additionally, our proposed PoolFormer could serve as a starting baseline for future MetaFormer architecture design. Code is available at https://github.com/sail-sg/poolformer.

연구 동기 및 목표

• 토큰 믹서를 전체 설계와 분리한 일반적인 비전 모델 아키텍처(MetaFormer)를 제안한다.
• 메타포머 내에서 학습이 필요 없는 간단한 풀링 연산자가 효과적인 토큰 믹서로 작용할 수 있는지 조사한다.
• 이미지 분류, 객체 탐지, 인스턴스 분할, 의미 분할 전반에 걸쳐 PoolFormer를 ViT/MLP류 벤치마크와 실증적으로 비교한다.

제안 방법

• 지정되지 않은 토큰 믹서와 표준 잔차/MLP 구성요소를 가진 Transformer 유사 아키텍처로 MetaFormer를 정의한다.
• 메타포머를 풀링 기반 토큰 믹서(PoolFormer)로 구현하여 아키텍처 자체의 역할을 평가한다.
• 다양한 임베딩 차원과 블록 수(S12, S24, S36, M36, M48)로 구성된 4단계 계층적 PoolFormer 설계를 사용하고 기본 풀링 크기는 3으로 설정한다.
• 데이터 증강, AdamW 최적화, 채널 우선 데이터에 대한 수정된 Layer Normalization(MLN)을 사용하여 ImageNet-1K에서 학습한다.
• ImageNet-1K, COCO(RetinaNet, Mask R-CNN), ADE20K(의미 분할)에서 평가하여 비전 태스크 전반에 대한 일반화를 평가한다.
• 토큰 믹서, 정규화, 활성화, 스테이지 구성을 vary 해서 MetaFormer의 효과를 분리하는 ablation을 수행한다.

실험 결과

연구 질문

• RQ1 MetaFormer의 일반 아키텍처가 특정 토큰 믹서와 무관하게 비전 태스크의 성능의 주요 동인인가?
• RQ2 풀링 기반 토큰 믹서(PoolFormer)가 주의 기반 트랜스포머나 MLP류 모델과 비교해 경쟁력 있는 성능을 달성할 수 있는가?
• RQ3 PoolFormer가 분류, 탐지/분할, 의미 분할 벤치마크에서 최첨단 벤치마크에 비해 어떤 성능을 보이는가?

주요 결과

• 단순 풀링 토큰 믹서를 갖춘 PoolFormer가 ImageNet-1K 상위 1% 정확도에서 경쟁력을 보이며 MACs/매개변수 측면에서 DeiT-B 및 ResMLP-B24 벤치마크를 능가한다.
• PoolFormer-S24가 21M 매개변수와 3.4G MACs에서 80.3% 상위-1을 달성하여 유사 예산에서 ViT/MLP류 벤치마크를 능가한다.
• PoolFormer-M36이 56.1M 매개변수와 8.8G MACs에서 82.1% 상위-1로, 더 강한 벤치마크 중 다수보다 자원이 적은 상황에서 우수한 성능을 보인다.
• PoolFormer-M48이 73.4M 매개변수와 11.6G MACs에서 82.5% 상위-1로 경쟁적 추세를 이어간다.
• 아브레이션에서 토큰 믹서가 아이덴티티 매핑이어도 74.3% 상위-1을 얻는 것을 보여주며 메타포머 아키텍처가 성능의 주된 요인임을 뒷받침한다.