[논문 리뷰] Fixing the train-test resolution discrepancy

Hugo Touvron, Andrea Vedaldi외 2명|arXiv (Cornell University)|2019. 06. 14.

Advanced Neural Network Applications참고 문헌 44인용 수 23

한 줄 요약

이 논문은 이미지 분류에서 훈련-테스트 해상도 불일치 문제를 다루며, 데이터 증강으로 인한 분포 이탈로 인해 낮은 해상도에서 훈련하면 테스트 시 성능이 향상되는 현상을 분석한다. 저해상도에서 훈련된 모델을 고해상도 테스트 환경에 적응시키는 경량 미세조정 방법을 제안하며, 224×224 이미지에서 훈련한 ResNeXt-101 32x48d 모델을 320×320에서 미세조정하여 ImageNet에서 최신 기록인 86.4%의 top-1 정확도를 달성한다.

ABSTRACT

Data-augmentation is key to the training of neural networks for image classification. This paper first shows that existing augmentations induce a significant discrepancy between the typical size of the objects seen by the classifier at train and test time. We experimentally validate that, for a target test resolution, using a lower train resolution offers better classification at test time. We then propose a simple yet effective and efficient strategy to optimize the classifier performance when the train and test resolutions differ. It involves only a computationally cheap fine-tuning of the network at the test resolution. This enables training strong classifiers using small training images. For instance, we obtain 77.1% top-1 accuracy on ImageNet with a ResNet-50 trained on 128x128 images, and 79.8% with one trained on 224x224 image. In addition, if we use extra training data we get 82.5% with the ResNet-50 train with 224x224 images. Conversely, when training a ResNeXt-101 32x48d pre-trained in weakly-supervised fashion on 940 million public images at resolution 224x224 and further optimizing for test resolution 320x320, we obtain a test top-1 accuracy of 86.4% (top-5: 98.0%) (single-crop). To the best of our knowledge this is the highest ImageNet single-crop, top-1 and top-5 accuracy to date.

연구 동기 및 목표

• 이미지 분류에서 훈련 및 테스트 해상도가 다를 경우 발생하는 분포 이탈을 규명하고 해결하는 것.
• 훈련 및 테스트 데이터의 해상도를 일치시켜 모델의 일반화 능력과 테스트 시 성능을 향상시키는 것.
• 낮은 해상도의 훈련 샘플을 사용함으로써 더 빠르고 효율적인 훈련을 가능하게 하되, 높은 테스트 정확도를 유지하는 것.
• 사전 훈련된 모델을 후행적으로 고해상도 테스트 환경에 적응시키는 계산 비용이 낮은 방법을 개발하는 것.

제안 방법

• 훈련 시 낮은 해상도(예: 128×128 또는 160×160)에서 분류기를 훈련시켜 훈련 시간과 메모리 사용량을 줄이는 것.
• 테스트 시에는 더 높은 해상도의 샘플(예: 224×224 또는 320×320)을 사용하여 실제 이미지 콘텐츠와 더 잘 일치시키는 것.
• 모델을 새로운 해상도에 적응시키기 위해 오직 최종 완전 연결 계층과 배치 정규화 계층만 미세조정하는 것.
• 훈련 중에는 표준 데이터 증강을 사용하지만, 척도 변동을 줄이기 위해 분류 영역(Region of Classification, RoC) 샘플링 방식을 조정하는 것.
• 대규모 약한 감독 학습 데이터셋에서 사전 훈련된 모델을 활용하고, 해상도 적응 기법을 적용하여 성능을 향상시키는 것.
• 표준 모델과 대규모 모델 모두에 이 방법을 적용하며, ResNet-50, PNASNet-5-Large, ResNeXt-101 32x48d를 포함한다.

실험 결과

연구 질문

• RQ1 훈련과 추론 시 해상도가 다를 경우 이미지 분류 성능에 영향을 미치는가?
• RQ2 입력 해상도가 낮은 훈련을 하더라도 테스트 시 성능이 향상될 수 있는가?
• RQ3 테스트 해상도에서 단순한 미세조정 절차가 해상도 불일치 문제를 보완할 수 있는가?
• RQ4 제안된 방법이 표준 모델과 대규모 모델 양쪽에서 성능 향상에 기여하는가?
• RQ5 이 방법은 더 높은 해상도의 테스트 입력을 가진 전이 학습 환경에서도 효과적으로 적용될 수 있는가?

주요 결과

• 128×128 이미지에서 훈련한 ResNet-50 모델은 ImageNet에서 77.1%의 top-1 정확도를 기록하며, 표준 224×224 훈련 방식을 초월한다.
• 320×320 테스트 해상도에서 미세조정한 ResNet-50 모델은 79.8%의 top-1 정확도를 달성하여 해상도 적응 기법의 효과를 입증한다.
• 9억 4000만 개의 224×224 이미지에서 사전 훈련한 ResNeXt-101 32x48d 모델을 320×320에서 미세조정하여 86.4%의 top-1 정확도를 기록하며, ImageNet에서 최신 기록을 수립한다.
• 이 방법은 iNaturalist, Stanford Cars, Oxford-102 Flowers 등 다양한 전이 학습 벤치마크에서 성능 향상을 보였다.
• 성능 향상은 해상도가 높아질수록 더 두드러지며, 이미지 품질 향상에 따라 점점 더 중요한 영향을 미친다.
• 이 방법은 높은 성능을 유지하면서도 훈련 속도를 크게 향상시켜(예: 해상도를 절반으로 줄였을 때 3배 빠른 추론) 메모리 사용량도 감소시킨다.