[논문 리뷰] Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition

Ming Lin, Pichao Wang외 6명|arXiv (Cornell University)|2021. 02. 01.

Advanced Neural Network Applications참고 문헌 65인용 수 12

한 줄 요약

이 논문은 훈련 없이 아키텍처를 순위 매기기 위해 계산적으로 효율적인 새로운 프록시인 Zen-Score를 사용하는 제로샷 신경망 아키텍처 탐색(Zen-NAS) 방법을 제안한다. Zen-Score는 무작위로 초기화된 가중치를 사용해 몇 번의 순방향 전파만으로 네트워크의 표현력을 추정하며, 이로 인해 하루에 반 정도의 GPU 시간 이내로 탐색이 가능하다. Zen-NAS는 ImageNet에서 83.6%의 최상위-1 정확도를 달성하여 이전의 NAS 및 인간이 설계한 모델들을 능가하며, 탐색 과정에서 훈련 비용이 전혀 발생하지 않고, 더 빠른 추론 속도를 제공한다.

ABSTRACT

Accuracy predictor is a key component in Neural Architecture Search (NAS) for ranking architectures. Building a high-quality accuracy predictor usually costs enormous computation. To address this issue, instead of using an accuracy predictor, we propose a novel zero-shot index dubbed Zen-Score to rank the architectures. The Zen-Score represents the network expressivity and positively correlates with the model accuracy. The calculation of Zen-Score only takes a few forward inferences through a randomly initialized network, without training network parameters. Built upon the Zen-Score, we further propose a new NAS algorithm, termed as Zen-NAS, by maximizing the Zen-Score of the target network under given inference budgets. Within less than half GPU day, Zen-NAS is able to directly search high performance architectures in a data-free style. Comparing with previous NAS methods, the proposed Zen-NAS is magnitude times faster on multiple server-side and mobile-side GPU platforms with state-of-the-art accuracy on ImageNet. Our source code and pre-trained models are released on https://github.com/idstcv/ZenNAS.

연구 동기 및 목표

• 기존 NAS 방법에서 정확도 예측기의 높은 계산 비용을 해결하기 위해.
• 아키텍처 탐색 과정에서 훈련 또는 슈퍼넷 구축이 필요 없도록 하기 위해.
• 정확도와 강하게 상관관계가 있지만 최소한의 계산 자원만을 요구하는 프록시 지표를 개발하기 위해.
• ImageNet과 같은 대규모 데이터셋에서 고성능 이미지 인식을 위한 효율적이고 데이터 없는 NAS를 가능하게 하기 위해.
• 이전 방법들보다 훨씬 낮은 탐색 비용으로 최신 기술 수준의 정확도를 달성하기 위해.

제안 방법

• 무작위 초기화된 가중치에서 몇 번의 순방향 전파만으로 네트워크 표현력을 추정할 수 있는 제로샷 프록시인 Zen-Score를 제안한다.
• 랜덤 가우시안 입력을 사용하여 활성화 통계를 계층 간에 측정함으로써 Zen-Score를 계산한다.
• 제약 조건(예: FLOPs, 지연 시간, 모델 크기)을 고려하여 Zen-Score를 최대화하는 조건 하에서 설계된 탐색 알고리즘인 Zen-NAS를 설계한다.
• 진화적 탐색을 적용하여 Zen-Score를 목적 함수로 사용해 아키텍처 공간을 효율적으로 탐색한다.
• 배치 정규화에 대한 척도 불변성을 확보하기 위해 계층 간 활성화 통계를 정규화한다.
• 채널 수와 깊이를 설정할 수 있는 잔차 및 복합 블록 기반의 탐색 공간을 설계한다.

실험 결과

연구 질문

• RQ1 무작위 초기화에 기반한 제로샷 프록시가 모델 정확도와 강한 상관관계를 가지는가?
• RQ2 Zen-Score가 훈련 없이도 슈퍼넷을 구축하지 않고도 높은 성능을 유지할 수 있는가?
• RQ3 Zen-NAS는 최소한의 탐색 비용으로 ImageNet에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ4 Zen-Score는 다양한 하드웨어 플랫폼과 모델 크기에서 어떻게 성능을 발휘하는가?
• RQ5 Zen-Score는 배치 정규화에 대해 강건하며 다양한 네트워크 아키텍처에 적용 가능한가?

주요 결과

• Zen-NAS는 탐색에 반 미만의 GPU 일 이내로 ImageNet에서 83.6%의 최상위-1 정확도를 달성하여 이전의 NAS 및 인간이 설계한 모델들을 능가한다.
• 이 방법은 CIFAR-10, CIFAR-100, ImageNet에서 이전 방법들보다 훨씬 낮은 탐색 비용으로 최신 기술 수준의 성능을 달성한다.
• Zen-NAS는 전체 해상도의 ImageNet-1k 데이터셋에서 훈련 기반 방법을 초월한 최초의 제로샷 NAS 방법이다.
• Zen-Nets는 EfficientNet-B5보다 순차적 추론 속도가 수 개체 수준으로 더 빠르면서도 정확도는 동일하게 유지한다.
• Zen-Score는 모델 정확도와 강한 정적 상관관계를 보이며, 배치 정규화에 대해 강건하다.
• 탐색 과정은 데이터 없이, 파라미터 없이, 아키텍처당 몇 번의 순방향 전파만으로 이루어진다.