[논문 리뷰] AutoSlim: Towards One-Shot Architecture Search for Channel Numbers

Jiahui Yu, Thomas S. Huang|arXiv (Cornell University)|2019. 03. 27.

Advanced Neural Network Applications참고 문헌 60인용 수 145

한 줄 요약

AutoSlim는 채널 구성별 정확도를 추정하기 위해 슬림 가능 네트워크를 학습하고 각 층의 그룹 채널 수를 탐욕적으로 줄여 자원 제약을 충족시키며, exhaustive search 없이 최적의 채널 수를 도출합니다. 이는 MobileNet 계열과 ResNet-50의 ImageNet에서 baselines보다 속도-정확도 균형이 우수합니다.

ABSTRACT

We study how to set channel numbers in a neural network to achieve better accuracy under constrained resources (e.g., FLOPs, latency, memory footprint or model size). A simple and one-shot solution, named AutoSlim, is presented. Instead of training many network samples and searching with reinforcement learning, we train a single slimmable network to approximate the network accuracy of different channel configurations. We then iteratively evaluate the trained slimmable model and greedily slim the layer with minimal accuracy drop. By this single pass, we can obtain the optimized channel configurations under different resource constraints. We present experiments with MobileNet v1, MobileNet v2, ResNet-50 and RL-searched MNasNet on ImageNet classification. We show significant improvements over their default channel configurations. We also achieve better accuracy than recent channel pruning methods and neural architecture search methods. Notably, by setting optimized channel numbers, our AutoSlim-MobileNet-v2 at 305M FLOPs achieves 74.2% top-1 accuracy, 2.4% better than default MobileNet-v2 (301M FLOPs), and even 0.2% better than RL-searched MNasNet (317M FLOPs). Our AutoSlim-ResNet-50 at 570M FLOPs, without depthwise convolutions, achieves 1.3% better accuracy than MobileNet-v1 (569M FLOPs). Code and models will be available at: https://github.com/JiahuiYu/slimmable_networks

연구 동기 및 목표

• 제한된 자원 하에서 정확도를 향상시키기 위해 각 층의 채널 수를 설정하는 방법을 제시하고 그 동기를 설명한다.
• 많은 아키텍처를 학습시키지 않고 채널 구성 추정 및 최적화를 위한 원샷 방법을 제안한다.
• 슬림 가능 네트워크가 채널 구성 간 상대적 성능의 정확한 추정기로 작용할 수 있음을 보인다.
• 다양한 FLOPs 예산에 대해 MobileNet 계열, MNasNet, ResNet-50에서 ImageNet의 최첨단 정확도-효율성 트레이드오프를 시연한다.

제안 방법

• 샌드위치 규칙과 inplace distillation을 사용하여 임의의 폭으로 동작할 수 있는 슬림 가능 네트워크를 학습한다.
• 각 층의 채널 그룹 슬림 후 검증 정확도를 평가하고 가장 작은 정확도 감소를 보인 채널을 제거하여 계층을 탐욕적으로 축소한다.
• 지정된 자원 제약(FLOPs, 지연, 메모리, 또는 모델 크기)을 충족할 때까지 반복한다.
• 학습된 슬림 가능 모델을 사용해 하위 아키텍처를 샘플링하여 즉시 추론 및 상대적 성능 추정을 수행한다.
• 검색이 끝난 후 최적화된 아키텍처를 처음부터(또는 슬림 가능 네트워크로 공동 학습) 전체 에폭으로 학습한다.
• ImageNet에서 기본 채널 구성, 채널 프루닝 기준, NAS 기반 방법과 비교한다.

실험 결과

연구 질문

• RQ1 하나의 슬림 가능 네트워크가 많은 채널 구성의 상대적 성능을 정확히 추정할 수 있는가?
• RQ2 학습된 슬림 가능 모델에 대한 탐욕적 슬림링 절차가 주어진 자원 제약 하에서 거의 최적의 채널 구성으로 이어지는가?
• RQ3 최적화된 채널 구성이 표준 휴리스틱, 프루닝 또는 기존 NAS 결과를 넘어 정확도와 효율성을 향상시키는가?
• RQ4 AutoSlim으로 도출된 구성은 서로 다른 FLOPs 예산 하에서 MobileNet 계열, MNasNet, ResNet-50에 걸쳐 어떻게 성능을 발휘하는가?

주요 결과

• AutoSlim은 매치된 FLOPs 예산 하에서 MobileNet v1/v2, MNasNet, ResNet-50의 기본 채널 구성에 비해 상위 정확도(Top-1)를 향상시킨다.
• AutoSlim-MobileNet-v2가 305M FLOPs에서 74.2%의 Top-1을 달성하며 기본 MobileNet-v2보다 2.4% 높고 RL로 탐색된 MNasNet(317M FLOPs)보다 0.2% 높다.
• AutoSlim-ResNet-50이 570M FLOPs(깊이별 합성 없이)에서 MobileNet-v1(569M FLOPs)보다 정확도가 1.3% 더 높다.
• 최적화된 채널 구성은 기본값에 비해 얕은 층의 채널을 줄이고 깊은 층의 채널을 늘리는 경향을 보이며, MobileNet v2 분석에서 이를 확인할 수 있다.
• AutoSlim은 유사한 계산 예산에서 최근의 채널 프루닝 및 NAS 기준보다 ImageNet 분류에서 성능이 더 좋을 수 있다.