[논문 리뷰] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

Mingxing Tan, Quoc V. Le|arXiv (Cornell University)|2019. 05. 28.

Advanced Neural Network Applications참고 문헌 50인용 수 5,012

한 줄 요약

논문은 깊이, 너비, 해상도를 균일하게 확장하는 원리에 기반한 복합 확장(compound scaling) 방법을 도입하여, NAS-설계 기반의 baseline(EfficientNet-B0)에서 시작해 이전 ConvNet 대비 매우 높은 정확도와 효율성을 갖춘 EfficientNets 가족을 제시합니다.

ABSTRACT

Convolutional Neural Networks (ConvNets) are commonly developed at a fixed resource budget, and then scaled up for better accuracy if more resources are available. In this paper, we systematically study model scaling and identify that carefully balancing network depth, width, and resolution can lead to better performance. Based on this observation, we propose a new scaling method that uniformly scales all dimensions of depth/width/resolution using a simple yet highly effective compound coefficient. We demonstrate the effectiveness of this method on scaling up MobileNets and ResNet. To go even further, we use neural architecture search to design a new baseline network and scale it up to obtain a family of models, called EfficientNets, which achieve much better accuracy and efficiency than previous ConvNets. In particular, our EfficientNet-B7 achieves state-of-the-art 84.3% top-1 accuracy on ImageNet, while being 8.4x smaller and 6.1x faster on inference than the best existing ConvNet. Our EfficientNets also transfer well and achieve state-of-the-art accuracy on CIFAR-100 (91.7%), Flowers (98.8%), and 3 other transfer learning datasets, with an order of magnitude fewer parameters. Source code is at https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.

연구 동기 및 목표

• 단일 차원 확장에 국한되지 않는 효율적인 ConvNet 확장을 모티브로 삼아 고정 자원 예산 하에서 정확도를 개선한다.
• 깊이, 너비, 해상도를 고정 자원 곡선에 맞춰 균형 있게 조정하는 복합 확장 방법을 제안한다.
• 신경망 아키텍처 검색(neural architecture search)을 통해 모바일 사이즈의 기준 네트워크(EfficientNet-B0)를 개발한다.
• 복합 확장이 이전 ConvNet보다 ImageNet 및 전이 작업에서 우수한 성능의 모델 계열(EfficientNets)을 만들어 낼 수 있음을 Demonstrate 한다.

제안 방법

• ConvNet을 모든 계층에 걸쳐 균일한 확장을 적용하는 계층 스택으로 Formulate 한다.
• 계수(phi, alpha, beta, gamma)를 도입한 복합 확장으로 d=alpha^phi, w=beta^phi, r=gamma^phi이고 alpha*beta^2*gamma^2≈2를 만족시킨다.
• 다중 목적 신경망 아키텍처 탐색을 통해 정확도와 FLOPS를 최적화하여 EfficientNet-B0를 Construct 한다.
• 고정된 확장 계수를 사용해 EfficientNet-B0를 확장하여 EfficientNet-B1 ... EfficientNet-B7을 얻는다.
• 성능 향상을 위한 학습 기술(SiLU/Swish 활성화, AutoAugment, stochastic depth, dropout 스케줄링)을 활용한다.
• ImageNet 및 전이 데이터셋에서 baselines(ResNet, GPipe, NASNet 등)와 비교한다.

실험 결과

연구 질문

• RQ1 ConvNet의 깊이, 너비, 해상도의 다중 차원을 체계적이고 원리적으로 확장하면 정확도와 효율성이 함께 향상될 수 있는가?
• RQ2 원칙적 방법으로 확장될 때 파라미터 수와 FLOPS가 적으면서도 최첨단 성능을 달성하는 최소한의 Baseline 아키텍처는 무엇인가?
• RQ3 확장된 EfficientNets가 기존 아키텍처와 비교할 때 다른 데이터셋으로의 전이에서 얼마나 잘 작동하는가?
• RQ4 모델 크기와 하드웨어 제약에 일반화될 수 있는 실행 가능한 확장 규칙이 존재하는가?

주요 결과

• EfficientNet-B7은 ImageNet에서 Top-1 84.3%의 정확도와 66M 매개변수, 37B FLOPS를 달성하여 GPipe 대비 매개변수 8.4배, 추론 속도 6.1배 빨라진 성능 향상을 보인다.
• EfficientNet 계열은 매개변수 및 FLOPS를 상당히 줄이면서도(매개변수 최대 8.4배, FLOPS 최대 16배 감소) 비슷하거나 더 나은 정확도를 달성한다.
• EfficientNet-B4는 ResNet-50의 Top-1 정확도를 76.3%에서 83.0%로 개선하며 비슷한 FLOPS를 유지한다.
• 전이 학습에서 EfficientNets는 8개 데이터셋 중 5개에서 최첨단 정확도를 달성하며, 이전의 최적 결과보다 최대 21배 적은 매개변수를 사용한다.
• EfficientNet-B1은 ResNet-152보다 CPU 대기 시간 기준으로 5.7배, EfficientNet-B7은 GPipe보다 6.1배 빠르다.