[논문 리뷰] Solving ImageNet: a Unified Scheme for Training any Backbone to Top Results

Tal Ridnik, Hussam Lawen외 2명|arXiv (Cornell University)|2022. 04. 07.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 어떤 백본 아키텍처—CNN, 트랜스포머, 모바일 및 MLP 전용 모델을 포함해 다양하게 변형 가능한 아키텍처—에서도 초기 설정 없이 최고의 ImageNet top-1 정확도를 달성할 수 있도록 돕는 플러그 앤 플레이 학습 프레임워크인 USI(Underlying Scheme for ImageNet)를 소개한다. 강력한 교사 모델을 활용한 지식 증류와 최소한의 보조 기법을 통해 USI는 다양한 아키텍처에서 일관된 성능 향상을 이끌어내며, ImageNet 학습을 자동화되고 아키텍처에 관계없이 적용 가능한 절차로 전환시킨다.

ABSTRACT

ImageNet serves as the primary dataset for evaluating the quality of computer-vision models. The common practice today is training each architecture with a tailor-made scheme, designed and tuned by an expert. In this paper, we present a unified scheme for training any backbone on ImageNet. The scheme, named USI (Unified Scheme for ImageNet), is based on knowledge distillation and modern tricks. It requires no adjustments or hyper-parameters tuning between different models, and is efficient in terms of training times. We test USI on a wide variety of architectures, including CNNs, Transformers, Mobile-oriented and MLP-only. On all models tested, USI outperforms previous state-of-the-art results. Hence, we are able to transform training on ImageNet from an expert-oriented task to an automatic seamless routine. Since USI accepts any backbone and trains it to top results, it also enables to perform methodical comparisons, and identify the most efficient backbones along the speed-accuracy Pareto curve. Implementation is available at:https://github.com/Alibaba-MIIL/Solving_ImageNet

연구 동기 및 목표

• ImageNet 학습에 대해 아키텍처에 특화된 전문가가 튜닝한 학습 체계가 필요 없도록 하는 것.
• CNN, 트랜스포머, 모바일 모델, MLP 전용 네트워크를 포함한 다양한 백본 아키텍처 간에 일관되고 높은 성능의 학습을 가능하게 하는 것.
• 공통의 안정적인 학습 기반을 제공함으로써 속도-정확도 파레토 경계를 따라 모델을 체계적으로 비교할 수 있는 방법을 확립하는 것.
• 적절히 적용될 경우 지식 증류만으로도 광범위한 정규화나 하이퍼파rameter 튜닝 없이도 강력하고 높은 정확도의 학습을 수행할 수 있음을 보여주는 것.

제안 방법

• 강력한 교사 모델을 사용해 학습 중인 학생(대상) 네트워크를 지식 증류(KD)로 안내하며, 교사와 학생의 로짓 간의 KL 발산 손실을 적용한다.
• 최적의 성능를 얻기 위해 고정된 KD 상대 가중치(α_kd = 5)와 온도 스케일링 없이(τ = 1) 사용한다.
• 주요 정규화 기법으로 Mixup-Cutmix 데이터 증강을 사용하며, 이는 Cutout이나 증강 없이 사용하는 것보다 성능이 뛰어나다.
• 유니버설리티를 유지하기 위해 아키텍처에 특화된 정규화(예: 드롭패스, 드롭블록)를 회피한다. 이는 통합 체계에서 추가적인 이득이 없기 때문이다.
• 모델에 특화된 조정 없이 표준적이고 강력한 학습 레시피(예: 1000 에포크, 큰 배치 크기, 학습률 스케일링)를 사용해 학습한다.
• 재현 가능성 검증과 광범위한 접근성을 확보하기 위해 공개 리포지터리(timm)에 체계를 재현한다.

실험 결과

연구 질문

• RQ1 아키텍처에 특화된 튜닝 없이도 다양한 백본 아키텍처에서 ImageNet에서 최고의 성능을 달성할 수 있는 단일 통합 학습 체계가 존재하는가?
• RQ2 추가 정규화 없이 지식 증류만으로도 다양한 모델 패밀리 간에 학습 안정성과 정확도 향상에 얼마나 기여하는가?
• RQ3 KD 손실 가중치 및 온도와 같은 하이퍼파rameter가 통합 설정에서 성능에 어떤 영향을 미치는가?
• RQ4 아키텍처에 특화된 정규화(예: 드롭패스)가 통합 체계에서 성능 향상에 기여하는가, 아니면 불필요한가?
• RQ5 통합 체계가 속도-정확도 파레토 곡선을 따라 모델을 신뢰할 수 있고 체계적으로 비교할 수 있도록 할 수 있는가?

주요 결과

• USI는 ResNet 유사, 모바일 중심, 트랜스포머 기반, MLP 전용 모델을 포함한 모든 테스트된 아키텍처에서 초기 설정 없이 ImageNet-1K에서 최고의 top-1 정확도를 달성한다.
• LeViT-384의 경우 USI로 82.7%의 top-1 정확도를 기록하며, 교차 엔트로피 손실 없이 단지 지식 증류에 의존할 경우(α_kd = ∞)에도 동일한 정확도를 유지한다.
• 최적의 KD 상대 가중치는 α_kd = 5이다. 이보다 낮은 값(예: α_kd = 1)이나 KD 미적용(α_kd = 0)의 경우 성능 저하가 심각하게 발생하며(예: 76.2% 정확도), 이는 명확한 성능 저하를 야기한다.
• KD 온도 스케일링은 해로운 영향을 미친다. τ < 1 또는 τ > 1 모두 정확도를 떨어뜨리며, τ = 1(기본 확률)일 때가 가장 우수한 결과를 낸다.
• Mixup-Cutmix 증강 기법은 LeViT-384에서 82.7%의 top-1 정확도를 기록하며, Cutout(82.4%)나 증강 없이 사용할 경우(82.0%)보다 뛰어난 성능을 보였다.
• 드롭패스 정규화는 USI 체계에서 추가적인 이득이 없으며, 적용할 경우 정확도가 약간 떨어지며(82.5%) 이는 아키텍처에 특화된 정규화가 통합 설정에서는 불필요하다는 것을 확인한다.