[논문 리뷰] Fixing the train-test resolution discrepancy: FixEfficientNet

Hugo Touvron, Andrea Vedaldi외 2명|arXiv (Cornell University)|2020. 03. 18.

Image Processing Techniques and Applications참고 문헌 16인용 수 67

한 줄 요약

이 논문은 FixRes를 EfficientNet에 적용하여 학습 해상도와 테스트 해상도를 일치시켜 FixEfficientNet을 만들고, 매개변수 규모가 우수한 ImageNet 정확도를 달성하며, 88.5% top-1 with L2와 98.7% top-5를 포함합니다.

ABSTRACT

This paper provides an extensive analysis of the performance of the EfficientNet image classifiers with several recent training procedures, in particular one that corrects the discrepancy between train and test images. The resulting network, called FixEfficientNet, significantly outperforms the initial architecture with the same number of parameters. For instance, our FixEfficientNet-B0 trained without additional training data achieves 79.3% top-1 accuracy on ImageNet with 5.3M parameters. This is a +0.5% absolute improvement over the Noisy student EfficientNet-B0 trained with 300M unlabeled images. An EfficientNet-L2 pre-trained with weak supervision on 300M unlabeled images and further optimized with FixRes achieves 88.5% top-1 accuracy (top-5: 98.7%), which establishes the new state of the art for ImageNet with a single crop. These improvements are thoroughly evaluated with cleaner protocols than the one usually employed for Imagenet, and particular we show that our improvement remains in the experimental setting of ImageNet-v2, that is less prone to overfitting, and with ImageNet Real Labels. In both cases we also establish the new state of the art.

연구 동기 및 목표

• RoCs(Regions of Classification) 및 crops의 차이로 인한 학습-테스트 분포 불일치를 줄이려는 동기 부여.
• FixRes 미세조정을 EfficientNet에 적용했을 때 모델 스케일에 따른 정확도에 미치는 영향 평가.
• cleaner한 평가 프로토콜 하에서 외부 데이터 여부에 관계없이 ImageNet에서의 성능 Establish.
• ImageNet-V2 및 ImageNet Real Labels에서 일반화 성능을 평가하여 강건성 검증.

제안 방법

• FixRes 미세조정을 EffectiveNet 아키텍처에 적용하여 대상 해상도에서 분류기(또는 상위 계층)를 재훈련합니다.
• FixRes 데이터 증강을 사용하고 미세조정 동안 라벨 스무딩과 결합합니다.
• EfficientNet 사전 학습 모델에서 시작하여 ImageNet-2012를 단일 크롭으로 top-1/top-5 지표로 평가합니다.
• Noisy Student 및 AdvProp 변형을 외부 데이터 여부와 무관한 EfficientNet 기본선과 비교합니다.
• ImageNet-V2 Matched Frequency 및 ImageNet Real Labels를 포함한 cleaner한 평가 구성에서 개선을 검증합니다.

실험 결과

연구 질문

• RQ1 FixRes 미세조정이 다른 모델 크기(B0–L2)에서 ImageNet에서 EfficientNet 성능에 어떤 영향을 미치는가?
• RQ2 FixEfficientNet 접근법이 ImageNet-V2 및 ImageNet Real Labels에서 일반화를 개선하는가, 표준 ImageNet-val 결과를 넘어서는가?
• RQ3 FixRes와 함께 External 데이터를 제거하는 것과 300M개의 비레이블 이미지 사용의 영향은 어떠한가?
• RQ4 FixEfficientNet이 Adversarial training 또는 Noisy Student와 같은 prior state-of-the-art EfficientNet 변형과 clean evaluation 프로토콜 하에서 어떻게 비교되는가?

주요 결과

• FixEfficientNet-B0은 추가 데이터 없이 ImageNet에서 79.3% Top-1 및 94.6% Top-5를 달성(대비 EfficientNet-B0의 77.6%/93.3%).
• FixEfficientNet-L2는 추가 데이터와 함께 ImageNet에서 88.5% Top-1 및 98.7% Top-5에 도달(및 Table 1 최종 행에서 88.5%/98.7%).
• 외부 데이터 없이 ImageNet에서 FixEfficientNet은 B0–B7에서 AdvProp를 적용한 EfficientNet보다 우수하며, 예를 들어 B7: 85.3% Top-1(대비 EfficientNet-B7의 85.2%).
• FixEfficientNet-L2는 ImageNet에서 단일 크롭 최첨단 결과를 달성(Top-1 88.5%, Top-5 98.7%).
• 클린 레이블과 함께, FixEfficientNet-L2는 90.9% Top-1 및 98.8% Top-5를 달성하여 기존 연구를 능가합니다.
• ImageNet-V2 Matched Frequency 전반에 걸쳐 FixEfficientNet 변형은 강력한 일반화를 보이며, EfficientNet 기본선보다 우수합니다.