[논문 리뷰] Single-Path NAS: Device-Aware Efficient ConvNet Design

Dimitrios Stamoulis, Ruizhou Ding외 5명|arXiv (Cornell University)|2019. 05. 10.

Advanced Neural Network Applications참고 문헌 24인용 수 12

한 줄 요약

Single-Path NAS는 각 레이어당 과도하게 파arameter화된 '스퍼커널'에서 가중치의 부분집합을 선택하는 방식으로 아키텍처 탐색을 공식화하는 새로운 미분 가능 NAS 방법을 제안한다. 이는 다중 경로 슈퍼넷 훈련이 필요 없도록 하여 NAS 탐색 비용을 단 8 에포크(TPUv2 기준 3.75시간)로 줄인다. 이로써 Pixel 1 기기에서 79.48ms의 지연 시간을 기록하며 ImageNet에서 74.96%의 Top-1 정확도를 달성하여 유사한 지연 시간 제약 조건 하에서 하드웨어 효율적인 컨볼루션 네트워크의 새로운 최고 성능을 수립한다.

ABSTRACT

Can we automatically design a Convolutional Network (ConvNet) with the highest image classification accuracy under the latency constraint of a mobile device? Neural Architecture Search (NAS) for ConvNet design is a challenging problem due to the combinatorially large design space and search time (at least 200 GPU-hours). To alleviate this complexity, we propose Single-Path NAS, a novel differentiable NAS method for designing device-efficient ConvNets in less than 4 hours. 1. Novel NAS formulation: our method introduces a single-path, over-parameterized ConvNet to encode all architectural decisions with shared convolutional kernel parameters. 2. NAS efficiency: Our method decreases the NAS search cost down to 8 epochs (30 TPU-hours), i.e., up to 5,000x faster compared to prior work. 3. On-device image classification: Single-Path NAS achieves 74.96% top-1 accuracy on ImageNet with 79ms inference latency on a Pixel 1 phone, which is state-of-the-art accuracy compared to NAS methods with similar latency (<80ms).

연구 동기 및 목표

• 모바일 최적화 컨볼루션 네트워크를 위한 신경망 아키텍처 탐색(NAS)의 금방이 되는 높은 계산 비용을 줄이기 위해 기존에 200+ GPU 시간이 소요되는 방식을 개선한다.
• Pixel 1과 같은 모바일 플랫폼에서의 현장 추론 지연 시간을 직접 최적화할 수 있는 하드웨어 인식 NAS 방법을 설계한다.
• 다중 경로 슈퍼넷 아키텍처의 비효율성을 제거하기 위해 NAS 탐색 공간을 단일 경로, 가중치 부분집합 선택 문제로 재구성한다.
• 모바일 기기에서 엄격한 지연 시간 제약 조건(≤80ms) 하에서 ImageNet에서 최고 성능의 이미지 분류 정확도를 달성한다.
• 복잡한 다중 경로 훈련을 대체하여 단순하고 미분 가능한 슈퍼커널 공식화를 통해 빠르고 효율적이며 재현 가능한 NAS를 가능하게 한다.

제안 방법

• 각 컨볼루션 네트워크 레이어당 과도하게 파arameter화된 단일 경로 '스퍼커널'을 도입하여, 다양한 후보 연산(예: 3×3 및 5×5 컨볼루션)을 공유 가중치의 부분집합으로 표현한다.
• 아키텍처 결정은 시그모이드 함수를 통한 지표 함수의 미분 가능 근사화를 통해 슈퍼커널 가중치의 부분집합을 활성화할지 선택하는 방식으로 공식화한다.
• 탐색 공간은 모바일 인버티드 브로치(MBConv)를 가진 MobileNetV2 유사 마크로 아키텍처를 기반으로 하며, 각 레이어는 가변적인 커널 크기와 확장 비율을 가진다.
• 기기 지향 런타임 모델은 현장 프로파일링을 통해 각 레이어의 지연 시간을 예측하며, 학습된 임계값을 통해 커널 크기 및 확장 비율 결정을 통합한다.
• NAS 목표는 정확도와 지연 시간을 통합하며, 지연 시간 모델을 훈련 중에 다양한 제약 조건으로 사용하여 아키텍처 탐색을 이끌어낸다.
• 최종 아키텍처는 훈련된 슈퍼커널에서 비활성화된 가중치 부분집합을 제거함으로써 유도되며, 이는 컴act하고 효율적인 모델이 된다.

실험 결과

연구 질문

• RQ1 모바일 컨볼루션 네트워크를 위한 NAS가 4시간 이내로 가속화될 수 있을까? 이때 정확도는 유지되거나 향상될 수 있을까?
• RQ2 다중 경로 슈퍼넷 훈련을 대체할 수 있는 단일 경로, 슈퍼커널 기반 공식화가 메모리 및 계산 오버헤드를 줄일 수 있을까?
• RQ3 미분 가능하고 가중치 부분집합 선택 방식이 엄격한 현장 지연 시간 제약 조건 하에서 최고 성능의 정확도를 달성할 수 있을까?
• RQ4 기존의 NAS 방법들인 MnasNet, ProxylessNAS, FBNet과 비교해 본다면, 제안된 방법은 탐색 비용과 성능 면에서 어떻게 비교될까?
• RQ5 기기별로 특화된 지연 시간 모델은 정확하게 훈련되고 NAS 목표에 통합되어 효율적인 아키텍처 탐색을 이끌 수 있을까?

주요 결과

• Single-Path NAS는 Pixel 1 기기에서 유사한 현장 지연 시간(≤80ms) 조건 하에서 NAS 방법 중 최고 성능을 기록하며, ImageNet에서 74.96%의 Top-1 정확도를 달성한다.
• 이 방법은 NAS 탐색 비용을 단 8 에포크(3.75시간, TPUv2 기준)로 줄여 MnasNet 대비 5,000배, ProxylessNAS 대비 25배의 속도 향상을 이룬다.
• 지연 시간 예측 모델은 루트 평균 제곱 오차 1.32ms(평균 오차 1.76%)를 기록하여 탐색 중 정확하고 미분 가능한 지연 시간 제약 조건을 제공한다.
• Single-Path NAS는 MobileNetV2보다 +1.37%의 Top-1 정확도 향상을 기록했으며, MnasNet에선 +0.35%, FBNet-B에선 +0.86% 향상되었다. 이는 유사한 지연 시간 조건 하에서의 성능이다.
• 이 방법은 FBNet 대비 11배, ProxylessNAS 대비 25배 더 빠르며, 총 탐색 비용은 30 TPU 시간으로, 효율적이고 하드웨어 인식 모델 설계의 장벽을 크게 낮춘다.
• 이 방법은 완전히 오픈소스로 공개되었으며, 완전한 문서화를 통해 재현 가능하며, 전력, 메모리, 통신 등의 다른 하드웨어 제약 조건으로의 확장도 가능하다.