[논문 리뷰] Weak NAS Predictors Are All You Need.

Junru Wu, Xiyang Dai외 8명|arXiv (Cornell University)|2021. 02. 21.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 반복적인 약한 예측기들을 사용하여 점진적으로 성능이 뛰어난 아키텍처로 수축하는 검색 공간으로 향하는 굵기에서 세밀함으로 향하는 NAS 프레임워크를 제안한다. 단순하고 정확도가 낮은 예측기들의 순차적 학습을 통해 점차 더 나은 아키텍처를 샘플링할 수 있는 능력을 키우며, 이로 인해 기존 방법보다 훨씬 적은 샘플 수로 NAS-Bench-101, NAS-Bench-201, 그리고 ImageNet에서 최신 기술 성능을 달성한다.

ABSTRACT

Neural Architecture Search (NAS) finds the best network architecture by exploring the architecture-to-performance manifold. It often trains and evaluates a large number of architectures, causing tremendous computation costs. Recent predictor-based NAS approaches attempt to solve this problem with two key steps: sampling some architecture-performance pairs and fitting a proxy accuracy predictor. Given limited samples, these predictors, however, are far from accurate to locate top architectures. In this paper, we shift the paradigm from finding a complicated predictor that covers the whole architecture space to a set of weaker predictors that progressively move towards the high-performance sub-space. It is based on the key property of the proposed weak predictors that their probabilities of sampling better architectures keep increasing. We thus only sample a few well-performed architectures guided by the previously learned predictor and estimate a new better weak predictor. By this coarse-to-fine iteration, the ranking of sampling space is refined gradually, which helps find the optimal architectures eventually. Experiments demonstrate that our method costs fewer samples to find the top-performance architectures on NAS-Bench-101 and NAS-Bench-201, and it achieves the state-of-the-art ImageNet performance on the NASNet search space. The code is available at this https URL

연구 동기 및 목표

• 복잡한 전역 예측기 대신 순차적인 약한 예측기들을 사용하여 신경망 아키텍처 탐색(NAS)의 계산 비용을 줄이기.
• 제한된 훈련 샘플 수로도 높은 성능을 내는 아키텍처를 식별하는 데에 실패하는 단일 예측기 모델의 낮은 정확도 문제를 해결하기.
• 약한 예측기를 통해 이뤄지는 굵기에서 세밀함으로 향하는 샘플링에 기반한 점진적 탐색 전략을 개발하여 아키텍처 검색 공간을 반복적으로 정밀화하기.
• 표준 NAS 데이터셋과 실제 ImageNet 검색 공간에서 최소한의 샘플 효율성으로 최신 기술 성능을 달성하기.

제안 방법

• 작은 수의 샘플링된 아키텍처-성능 쌍에 기반해 훈련된 약한 예측기의 순서를 사용하며, 각 예측기는 점차 성능이 뛰어난 하위 공간에 집중한다.
• 각 반복 단계에서 현재의 약한 예측기를 사용해 성능이 뛰어난 새로운 아키텍처 배치를 샘플링하고, 이를 다음 반복의 개선된 예측기 훈련에 활용한다.
• 핵심 혁신은 시간이 지남에 따라 더 나은 아키텍처를 샘플링할 확률이 증가하는 약한 예측기의 설계에 있다. 이는 검색 공간의 굵기에서 세밀함으로 향하는 정밀화를 가능하게 한다.
• 대신 단일 전역 예측기를 훈련하는 대신, 각 반복 단계에서 개선되는 국소적이고 낮은 복잡도의 모델 체인을 유지함으로써 전역 예측기 훈련을 피한다.
• 아키텍처-성능 다양체를 활용하여 예측 정확도가 높은 영역에 집중함으로써 평가의 포괄성 필요성을 줄인다.
• 수렴하거나 사전 정의된 샘플 예산에 도달할 때까지 반복 과정을 계속하여 높은 성능의 아키텍처 탐색을 효율적으로 수행한다.

실험 결과

연구 질문

• RQ1 개별 정확도가 제한된 약한 예측기의 순서가 단일 복잡한 예측기보다 NAS에서 더 나은 성능을 낼 수 있는가?
• RQ2 약한 예측기를 활용한 반복적 정밀화는 아키텍처 탐색의 효율성과 정확도를 어떻게 향상시키는가?
• RQ3 약한 예측기를 기반으로 한 점진적 샘플링 전략은 표준 NAS 벤치마크에서 더 나은 성능을 이끌어내는가?
• RQ4 이 방법은 최소한의 샘플 사용으로 대규모 데이터셋인 ImageNet에서도 최신 기술 성능을 달성할 수 있는가?
• RQ5 순차적 탐색 프레임워크에서 예측기의 품질과 더 나은 아키텍처를 샘플링할 확률 간의 관계는 무엇인가?

주요 결과

• 제안된 방법은 기존 방법보다 훨씬 적은 아키텍처 평가 수로 NAS-Bench-101과 NAS-Bench-201에서 최신 기술 성능을 달성한다.
• 약한 예측기를 통한 반복적 정밀화를 활용하여 최고 성능을 내는 아키텍처를 찾기 위해 필요한 샘플 수를 줄였다.
• ImageNet 검색 공간에서 이 방법은 최소한의 훈련 런 수로 최신 기술 정확도를 달성하여 확장성을 입증했다.
• 약한 예측기는 반복이 진행될수록 더 나은 아키텍처를 샘플링할 능력이 단조롭게 증가함을 보여주며, 핵심 설계 원칙을 검증했다.
• 표준 벤치마크에서 기존의 예측기 기반 NAS 접근법보다 샘플 효율성과 최종 아키텍처 성능 양면에서 뛰어난 성능을 보였다.