[논문 리뷰] NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search

Wei Chen, Chuang Niu외 4명|arXiv (Cornell University)|2020. 03. 28.

Neural Networks and Applications인용 수 16

한 줄 요약

NPENAS는 신경 아키텍처 탐색(NAS)을 위한 신경 예측기 가중 진화 알고리즘을 제안하며, 두 개의 그래프 기반 신경 예측기(베이지안 최적화용, NPENAS-BO; 직접 성능 예측용, NPENAS-NP)를 사용하여 탐색을 향상시킵니다. 이는 NASBench-201에서 2.64% 오차로 최신 기술 수준을 달성하였고, 검색 비용을 줄이며 기존 방법보다 우수한 성능을 보였습니다. DARTS 및 NASBench-101에서도 효율적인 아키텍처 샘플링과 서rogate 모델링을 통해 성능을 향상시켰습니다.

ABSTRACT

Neural architecture search (NAS) is a promising method for automatically design neural architectures. NAS adopts a search strategy to explore the predefined search space to find outstanding performance architecture with the minimum searching costs. Bayesian optimization and evolutionary algorithms are two commonly used search strategies, but they suffer from computationally expensive, challenge to implement or inefficient exploration ability. In this paper, we propose a neural predictor guided evolutionary algorithm to enhance the exploration ability of EA for NAS (NPENAS) and design two kinds of neural predictors. The first predictor is defined from Bayesian optimization and we propose a graph-based uncertainty estimation network as a surrogate model that is easy to implement and computationally efficient. The second predictor is a graph-based neural network that directly outputs the performance prediction of the input neural architecture. The NPENAS using the two neural predictors are denoted as NPENAS-BO and NPENAS-NP respectively. In addition, we introduce a new random architecture sampling method to overcome the drawbacks of the existing sampling method. Extensive experiments demonstrate the superiority of NPENAS. Quantitative results on three NAS search spaces indicate that both NPENAS-BO and NPENAS-NP outperform most existing NAS algorithms, with NPENAS-BO achieving state-of-the-art performance on NASBench-201 and NPENAS-NP on NASBench-101 and DARTS, respectively.

연구 동기 및 목표

• 기존의 베이지안 최적화 및 진화 알고리즘 기반 NAS 방법의 높은 계산 비용과 탐색 효율성의 한계를 해결하기 위해.
• 신경 예측기를 성능 서rogate로 통합하여 진화 알고리즘의 탐색 능력을 향상시키기 위해.
• 가우시안 프로세스와 앙상블 모델의 한계를 극복하기 위해 계산 비용이 적고 종단 간 훈련이 가능한 서rogate 모델을 설계하기 위해.
• 검색 효율성과 안정성을 향상시키는 새로운 무작위 아키텍처 샘플링 방법을 도입하기 위해.
• NASBench-101, NASBench-201, DARTS를 포함한 여러 NAS 벤치마크에서 제안된 방법의 효과성과 강건성을 검증하기 위해.

제안 방법

• 비용이 많이 드는 훈련 평가에 의존하는 것을 줄이기 위해 신경 예측기를 기반으로 한 진화 알고리즘인 NPENAS를 제안하여 탐색 능력을 향상시킵니다.
• 베이지안 최적화를 위한 서rogate 모델로 그래프 기반의 불확실성 추정 네트워크를 도입하여, 획득 함수 순위 매기기 위한 평균과 표준편차를 출력합니다.
• 아키텍처 임bedding에서 직접 성능을 예측하는 그래프 기반 신경 예측기를 설계하여 후손의 빠른 순위 매기기를 가능하게 합니다.
• 후보 생성 시의 다양성을 향상시키고 중복을 줄이는 데 기여하는 새로운 아키텍처 샘플링 전략을 구현합니다.
• 신경 아키텍처를 학습 가능한 표현으로 인코딩하기 위해 활성화 함수와 배치 정규화를 적용한 그래프 이소모르피즘 네트워크(GIN)를 사용합니다.
• 최종 예측 또는 불확실성 추정을 위해 글로벌 최대 풀링과 완전 연결층을 통해 그래프 리드아웃을 수행합니다.

실험 결과

연구 질문

• RQ1 신경 예측기는 진화 알고리즘이 신경 아키텍처 탐색에서 탐색 효율을 향상시킬 수 있는가?
• RQ2 기존의 가우시안 프로세스와 같은 전통적 모델에 비해 그래프 기반 서rogate 모델은 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 획득 함수 기반 방법에 비해 직접 성능 예측 모델이 아키텍처 탐색에서 더 우수한 성능을 보이는가?
• RQ4 새로운 샘플링 전략은 중복을 줄이고 NAS의 검색 안정성을 향상시킬 수 있는가?
• RQ5 NPENAS는 여러 벤치마크에서 최신 기술 수준의 NAS 방법과 비교해 정확도와 검색 비용 측면에서 어떻게 성능을 내는가?

주요 결과

• NPENAS-BO는 NASBench-201에서 2.64% ± 0.08의 정확도를 기록하여 새로운 최신 기술 수준의 성능을 달성했습니다.
• NPENAS-NP는 NASBench-101에서 2.54% ± 0.10의 정확도를 기록하여 이 벤치마크에서 기존 방법을 초월했습니다.
• DARTS 검색 공간에서 NPENAS-NP는 100개의 검색 에포크 동안 2.44%의 정확도를 달성하여 뛰어난 일반화 능력과 효율성을 보였습니다.
• NPENAS-BO와 NPENAS-NP는 반복 실험에서 높은 안정성을 보였으며, 다양한 랜덤 시드와 GPU 환경에서도 일관된 성능을 유지했습니다.
• 제안된 샘플링 방법은 검색 효율성을 향상시키고 아키텍처 선택의 분산을 줄여 더 신뢰할 수 있는 수렴에 기여했습니다.
• 그래프 기반 신경 예측기는 아키텍처 의미를 효과적으로 포착하여 최소한의 계산 오버헤드로 정확한 성능 예측이 가능했습니다.