[논문 리뷰] AutoFormer: Searching Transformers for Visual Recognition

Minghao Chen, Houwen Peng외 2명|arXiv (Cornell University)|2021. 07. 01.

Advanced Neural Network Applications참고 문헌 70인용 수 15

한 줄 요약

AutoFormer는 시각 트랜스포머를 위한 일회성 신경망 구조 탐색 프레임워크를 제안하며, 새로운 가중치 엔트레인지 전략을 사용하여 단일 슈퍼넷 내에서 수천 개의 서브넷을 효과적으로 훈련시킨다. 이로 인해 재학습 없이도 ImageNet에서 SOTA 정확도(5370만 파라미터, 상위 1위 정확도 82.4%)를 달성하였으며, ViT 및 DeiT와 같은 수작업으로 설계된 기존 모델들을 능가한다.

ABSTRACT

Recently, pure transformer-based models have shown great potentials for vision tasks such as image classification and detection. However, the design of transformer networks is challenging. It has been observed that the depth, embedding dimension, and number of heads can largely affect the performance of vision transformers. Previous models configure these dimensions based upon manual crafting. In this work, we propose a new one-shot architecture search framework, namely AutoFormer, dedicated to vision transformer search. AutoFormer entangles the weights of different blocks in the same layers during supernet training. Benefiting from the strategy, the trained supernet allows thousands of subnets to be very well-trained. Specifically, the performance of these subnets with weights inherited from the supernet is comparable to those retrained from scratch. Besides, the searched models, which we refer to AutoFormers, surpass the recent state-of-the-arts such as ViT and DeiT. In particular, AutoFormer-tiny/small/base achieve 74.7%/81.7%/82.4% top-1 accuracy on ImageNet with 5.7M/22.9M/53.7M parameters, respectively. Lastly, we verify the transferability of AutoFormer by providing the performance on downstream benchmarks and distillation experiments. Code and models are available at https://github.com/microsoft/AutoML.

연구 동기 및 목표

• 수동적인 하이퍼파rameter 튜닝의 한계를 극복하고 시각 트랜스포머 아키텍처의 자동 설계를 목표로 한다.
• 다양한 자원 제약 조건 하에서 다양한 트랜스포머 아키텍처를 효율적으로 탐색하는 데 도전한다.
• 재학습이나 미세조정 없이도 직접 서브넷을 추론할 수 있도록 슈퍼넷 훈련 전략을 개발한다.
• 자동 아키텍처 탐색을 통해 이미지 분류 및 후속 작업에서 모델 성능을 향상시킨다.
• 검색된 모델의 이식성과 지식 증류 잠재력이 다양한 벤치마크에서 입증된다.

제안 방법

• 시각 트랜스포머에 특화된 일회성 아키텍처 탐색 프레임워크인 AutoFormer을 제안한다.
• 동일한 레이어 내 블록 간 가중치를 공유하는 가중치 엔트레인지 전략을 도입하여 공동 최적화를 가능하게 한다.
• 깊이, 임bedding 차원, 헤드 수, MLP 비율, 쿼리/키/밸류 차원을 포함한 큰 탐색 공간을 구성한다.
• 엔트레인된 가중치를 가진 단일 슈퍼넷을 훈련시어 서브넷이 고급 수준의 가중치를 직접 유산으로 이어받을 수 있도록 한다.
• 모델 크기 제약 조건 하에서 유전적 탐색을 수행하여 최적 아키텍처를 식별한다.
• 유산된 서브넷과 다시 학습된 서브넷 간 성능가치가 유사하게 유지되는 훈련 레시피를 적용한다.

실험 결과

연구 질문

• RQ1 시각 트랜스포머의 고유한 아키텍처 특성 고려 시, 일회성 NAS 프레임워크가 효과적으로 적용될 수 있는가?
• RQ2 슈퍼넷 훈련 과정에서의 가중치 엔트레인지 전략이 추가 미세조정 없이도 잘 훈련된 서브넷을 생성하는가?
• RQ3 제안된 방법이 수작업으로 설계된 SOTA 모델인 ViT 및 DeiT를 능가하는 시각 트랜스포머 아키텍처를 발견할 수 있는가?
• RQ4 검색된 AutoFormers는 후속 비전 작업 및 증류 설정에서 얼마나 잘 일반화되는가?
• RQ5 기존의 NAS 방법에 비해 트랜스포머 기반 모델에 대해 가중치 엔트레인지 전략이 더 효과적인가?

주요 결과

• AutoFormer-tiny, small, base는 각각 ImageNet에서 상위 1위 정확도 74.7%, 81.7%, 82.4%를 달성한다.
• 2290만 파라미터로 구성된 AutoFormer-small은 DeiT-S(81.7% 대비 79.9%)와 ViT-S/16(81.7% 대비 78.8%)를 모두 능가한다.
• 슈퍼넷에서 유산된 서브넷의 성능은 다시 학습된 서브넷과 유사하여, 가중치 엔트레인지 전략의 효과성을 입증한다.
• AutoFormers는 후속 분류 벤치마크로의 이식성이 뛰어나 EfficientNet과 비교해도 우월하거나 유사한 성능을 기록한다.
• 증류 실험을 통해 AutoFormers의 성능이 추가로 향상되었으며, 이는 지식 증류와의 호환성을 확인한다.
• 제안된 가중치 엔트레인지 전략은 정규화나 증류와 같은 추가 기법 없이도 한 번의 학습으로 모든 아키텍처를 구현하는 파라다임을 가능하게 한다.