[논문 리뷰] Zero-Cost Proxies for Lightweight NAS

Mohamed S. Abdelfattah, Abhinav Mehrotra외 2명|arXiv (Cornell University)|2021. 01. 20.

Advanced Neural Network Applications참고 문헌 38인용 수 65

한 줄 요약

논문은 초기화 시 가지치기를 기반으로 한 제로 비용 프록시를 제시하여 단일 미니배치로 신경망을 평가하고, 감소된 학습 프록시와 비교해 동등하거나 더 우수한 랭킹을 달성하며, 다수의 벤치마크와 검색 알고리즘에서 더 빠른 NAS를 가능하게 한다.

ABSTRACT

Neural Architecture Search (NAS) is quickly becoming the standard methodology to design neural network models. However, NAS is typically compute-intensive because multiple models need to be evaluated before choosing the best one. To reduce the computational power and time needed, a proxy task is often used for evaluating each model instead of full training. In this paper, we evaluate conventional reduced-training proxies and quantify how well they preserve ranking between multiple models during search when compared with the rankings produced by final trained accuracy. We propose a series of zero-cost proxies, based on recent pruning literature, that use just a single minibatch of training data to compute a model's score. Our zero-cost proxies use 3 orders of magnitude less computation but can match and even outperform conventional proxies. For example, Spearman's rank correlation coefficient between final validation accuracy and our best zero-cost proxy on NAS-Bench-201 is 0.82, compared to 0.61 for EcoNAS (a recently proposed reduced-training proxy). Finally, we use these zero-cost proxies to enhance existing NAS search algorithms such as random search, reinforcement learning, evolutionary search and predictor-based search. For all search methodologies and across three different NAS datasets, we are able to significantly improve sample efficiency, and thereby decrease computation, by using our zero-cost proxies. For example on NAS-Bench-101, we achieved the same accuracy 4$ imes$ quicker than the best previous result. Our code is made public at: https://github.com/mohsaied/zero-cost-nas.

연구 동기 및 목표

• 전체 NAS 계산량을 줄이기 위해 전체 학습 없이 모델을 평가하는 것을 동기로 삼는다.
• 초기화 가지치기(saliency) 메트릭을 전체 네트워크를 점수화하도록 적응시켜 NAS에 활용한다.
• 다수 벤치마크에서 제로 비용 프록시와 일반적인 축소 학습 프록시를 비교한다.
• 다양한 NAS 알고리즘에 제로 비용 프록시를 통합하여 샘플 효율성을 개선한다.

제안 방법

• 개별 파라미터의 saliency 지표들(SNIP, GRASP, SynFlow, Fisher, Jacob_cov)을 네트워크 전체를 점수화하기 위해 파라미터 수준 점수를 집계하는 방식으로 적응시킨다.
• 다양한 NAS 벤치마크에서 최종 학습 정확도와의 스피어만 랭크 상관관계로 프록시를 평가한다.
• NAS-Bench-201 및 더 큰 벤치마크에서 제로 비용 프록시를 EcoNAS 프록시와 비교한다.
• NAS 알고리즘에서 제로 비용 프록시의 통합 전략을 탐구한다: RAND, RL, AE 및 예측기 기반 탐색에서의 제로 비용 워밍업 및 제로 비용 이동 제안 전략을 포함.

실험 결과

연구 질문

• RQ1 초기화 시 가지치기 saliency 지표를 전체 네트워크를 NAS 용도로 학습 없이 점수화하도록 집계할 수 있는가?
• RQ2 제로 비용 프록시가 기존의 축소 학습 프록시보다 NAS 벤치마크 전반에서 모델 랭킹을 더 잘 보존하는가?
• RQ3 제로 비용 프록시를 기존 NAS 탐색 알고리즘에 어떻게 통합하여 샘플 효율성을 개선할 수 있는가?
• RQ4 다양한 NAS 공간과 작업에서 어느 제로 비용 지표가 견고한가?

주요 결과

• 단일 미니배치를 사용하는 제로 비용 프록시는 EcoNAS 프록시의 랭킹 품질과 동등하거나 이를 상회할 수 있다(예: SynFlow가 일관되게 우수한 성능을 보임).
• NAS-Bench-201에서 synflow는 데이터셋 전반에서 스피어만 ρ > 0.73를 달성하고, jacob_cov 역시 강하며 다수 의결 앙상블(vote)이 ρ > 0.8에 도달한다.
• 제로 비용 프록시는 네 가지 탐색 알고리즘과 세 가지 벤치마크에서 NAS 속도 향상을 크게 가능케 하며, NAS-Bench-101에서 최대 4배 빨라진다.
• synflow를 이용한 제로 비용 워밍업 및 무브 제안 전략은 RAND, RL, AE, 예측 기반 탐색의 샘플 효율성을 크게 향상시킨다.
• SynFlow는 NAS 벤치마크 전반에서 일관된 최상위 모델 순위를 유지하며, 워밍업/무브 제안은 NAS-Bench-101 및 NAS-Bench-201에서 최첨단 성능을 안겨준다.