[논문 리뷰] Bag of Tricks for Image Classification with Convolutional Neural Networks

Tong He, Zhang Zhi외 4명|arXiv (Cornell University)|2018. 12. 04.

Advanced Neural Network Applications참고 문헌 26인용 수 142

한 줄 요약

논문은 학습 절차 개선 및 경미한 아키텍처 조정 모음을 조사하고 실증적으로 평가하여 이들을 누적적으로 적용하면 ImageNet 정확도와 전이 학습 성능이 향상됨을 보인다.

ABSTRACT

Much of the recent progress made in image classification research can be credited to training procedure refinements, such as changes in data augmentations and optimization methods. In the literature, however, most refinements are either briefly mentioned as implementation details or only visible in source code. In this paper, we will examine a collection of such refinements and empirically evaluate their impact on the final model accuracy through ablation study. We will show that, by combining these refinements together, we are able to improve various CNN models significantly. For example, we raise ResNet-50's top-1 validation accuracy from 75.3% to 79.29% on ImageNet. We will also demonstrate that improvement on image classification accuracy leads to better transfer learning performance in other application domains such as object detection and semantic segmentation.

연구 동기 및 목표

• CNN 정확도를 계산 비용을 증가시키지 않으면서 개선하는 학습 절차 개선과 경미한 아키텍처 튜크의 집합 식별
• 다양한 네트워크와 데이터셋에 대한 차단 연구를 통해 각 트릭의 영향을 정량적으로 평가
• 표준 파이프라인 하에서 합성 트릭이 신형 아키텍처보다 우수하다고 Demonstrate
• 정확도 증가가 객체 탐지와 의미 체계 분할에서의 전이 학습 성능 개선으로 이어지는지 보이기

제안 방법

• 데이터 전처리, 최적화 및 정규화에 대한 Baseline ResNet 학습 절차와 주변 트릭 정의
• Top-1/Top-5 정확도에 대한 각 트릭의 영향을 분리하기 위한 차단 연구 수행
• ImageNet에서 ResNet-50, Inception-V3, MobileNet를 평가하고 FLOPs 및 정확도 보고
• 정확도 및 FLOPs에 대한 효과를 평가하기 위한 ResNet 아키텍처의 여러 모델 트윅 제안
• 대형 배치 학습, 혼합 정밀도 학습, 학습률 스케줄, 표기 스무딩, 증류(distillation) 및 mixup 탐구
• 객체 탐지(Faster-RCNN on PASCAL VOC) 및 의미 체계 분할(ADE20K)에 대한 전이 학습 성능 테스트

실험 결과

연구 질문

• RQ1 개별 학습 개선이 ImageNet에서의 CNN 정확도에 미치는 영향은 얼마인가?
• RQ2 여러 트릭을 쌓는 것이 표준 학습 파이프라인과 비교하여 아키텍처 전반에서 어떤 차이를 보이는가?
• RQ3 트릭으로 얻은 정확도 상승이 객체 탐지 및 의미 체계 분할과 같은 다른 작업으로 전이되는가?
• RQ4 어떤 트릭 조합이 정확도와 계산 비용 사이에서 최적의 균형을 제공하는가?

주요 결과

• 모든 트릭을 적용한 ResNet-50은 ImageNet에서 Top-1 79.29%를 달성하며 표준 파이프라인 하에서 여러 최신 아키텍처를 능가한다.
• 트릭을 결합하는 것이 대부분의 경우 각각을 개별적으로 적용하는 것보다 더 큰 이득을 준다.
• 트릭은 Inception-V3 및 MobileNet으로 일반화되며 객체 탐지와 의미 체계 분할에서의 전이 학습 성능을 향상시킨다.
• 대형 배치 및 혼합 정밀도 학습은 학습 시간을 크게 단축시키고 트릭과 함께 사용할 때 정확도를 유지하거나 향상시킬 수 있다.
• 지식 증류(distillation)은 일부 아키텍처(특히 ResNet 계열)에 유익하지만 모든 모델에 일관되지는 않다.
• 표기 스무딩(label smoothing), mixup, 코사인 학습률 감소는 ImageNet의 검증 정확도에 상당한 개선을 기여한다.