[논문 리뷰] Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective

Wuyang Chen, Xinyu Gong외 1명|arXiv (Cornell University)|2021. 02. 23.

Advanced Neural Network Applications참고 문헌 62인용 수 51

한 줄 요약

TE-NAS는 NTK 스펙트럼과 선형 영역의 수를 기반으로 학습 없이도 아키텍처를 랭크하는 학습-프리 지표를 도입하여 NAS을 가능하게 하고, 매우 낮은 검색 비용으로 경쟁력 있는 성과를 달성한다.

ABSTRACT

Neural Architecture Search (NAS) has been explosively studied to automate the discovery of top-performer neural networks. Current works require heavy training of supernet or intensive architecture evaluations, thus suffering from heavy resource consumption and often incurring search bias due to truncated training or approximations. Can we select the best neural architectures without involving any training and eliminate a drastic portion of the search cost? We provide an affirmative answer, by proposing a novel framework called training-free neural architecture search (TE-NAS). TE-NAS ranks architectures by analyzing the spectrum of the neural tangent kernel (NTK) and the number of linear regions in the input space. Both are motivated by recent theory advances in deep networks and can be computed without any training and any label. We show that: (1) these two measurements imply the trainability and expressivity of a neural network; (2) they strongly correlate with the network's test accuracy. Further on, we design a pruning-based NAS mechanism to achieve a more flexible and superior trade-off between the trainability and expressivity during the search. In NAS-Bench-201 and DARTS search spaces, TE-NAS completes high-quality search but only costs 0.5 and 4 GPU hours with one 1080Ti on CIFAR-10 and ImageNet, respectively. We hope our work inspires more attempts in bridging the theoretical findings of deep networks and practical impacts in real NAS applications. Code is available at: https://github.com/VITA-Group/TENAS.

연구 동기 및 목표

• 학습 및 라벨 사용을 피함으로써 NAS 검색 비용을 줄이려는 동기를 제시한다.
• 아키텍처의 학습 가능성과 표현력을 평가하기 위한 학습-프리 지표를 제안한다.
• 학습 가능성과 표현력을 균형 있게 조절하기 위한 가지치기 기반의 NAS 메커니즘을 개발한다.
• DARTS 공간에서 NAS-Bench-201, CIFAR-10, 및 ImageNet에서 초고효율 NAS 성능을 시연한다.

제안 방법

• 학습 없이 초기화에서 계산되는 NTK 조건수(kappa_N)로 학습 가능성을 정의한다.
• ReLU 네트워크의 기대 선형 영역 수(R_N)로 표현력을 정의한다.
• 경험적 상관관계를 보여준다: 더 낮은 kappa_N은 더 높은 정확도와 상관; 더 높은 R_N은 더 높은 정확도와 상관.
• 동일 가중 순위를 사용해 두 지표를 결합하여 아키텍처 선정을 안내한다.
• 가치도(중요도) 기반 가지치기 메커니즘을 도입하여 에지당 낮은 중요도 연산자를 제거해 검색 공간을 |a0O|^E에서 |a0O|*E로 축소한다.
• kappa_N 및 R_N의 변화에 따라 연산자를 반복적으로 가지치고 단일 경로 아키텍처를 반환하는 학습-프리 NAS 알고리즘 TE-NAS를 제공한다.
• 선택적으로 가지치기 궤적을 시각화하여 탐색 다이나믹스를 설명한다.

실험 결과

연구 질문

• RQ1 이론적으로 동기화된 네트워크 지표를 사용하여 학습이나 라벨 없이 NAS를 효과적으로 수행할 수 있는가?
• RQ2 NTK 스펙트럼(조건수)과 선형 영역의 수가 학습 가능성과 표현력을 신뢰하게 나타내고 테스트 정확도와 상관관계가 있는가?
• RQ3 이 지표를 활용한 가지치기 기반 탐색 전략이 검색 비용을 크게 줄이면서 고품질 아키텍처를 낼 수 있는가?

주요 결과

• TE-NAS는 NTK 기반 학습 가능성(kappa_N)과 선형 영역 표현력(R_N)을 학습-프리 지표로 사용한다.
• kappa_N은 테스트 정확도와 음의 상관관계를 보이며, 더 낮은 조건수가 학습 가능성과 성능에 유리함을 나타낸다.
• R_N은 테스트 정확도와 양의 상관관계를 보이며, 더 높은 표현력이 더 나은 성능과 일치함을 시사한다.
• 정규화된 kappa_N과 R_N의 동등 가중 순위 결합이 아키텍처 선정을 효과적으로 안내한다.
• TE-NAS는 극도로 감소된 검색 시간으로 경쟁력 있는 결과를 달성한다: NAS-Bench-201/DARTS 공간에서 하나의 1080Ti로 CIFAR-10에서 0.5 GPU 시간, ImageNet에서 4 GPU 시간.
• 가치 기반 가지치기는 |a0O|^E 가능성에서 단일 경로 네트워크로 탐색 속도를 높이고 성능 잠재력을 보존한다.