[논문 리뷰] BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search

Colin White, Willie Neiswanger외 1명|arXiv (Cornell University)|2019. 10. 25.

Machine Learning and Data Classification인용 수 25

한 줄 요약

BANANAS는 신경 예측기와 새로운 경로 기반 아키텍처 인코딩을 사용한 베이지안 최적화 프레임워크를 제안하며, NASBench-101에서 최신 기술 수준의 성능을 달성하고 NASBench-201에서도 경쟁 가능한 결과를 내놓는다. 이 방법은 인접 행렬 대신 신경 아키텍처를 통과하는 경로를 인코딩하여 확장성과 예측기 정확도를 향상시킨다.

ABSTRACT

Over the past half-decade, many methods have been considered for neural architecture search (NAS). Bayesian optimization (BO), which has long had success in hyperparameter optimization, has recently emerged as a very promising strategy for NAS when it is coupled with a neural predictor. Recent work has proposed different instantiations of this framework, for example, using Bayesian neural networks or graph convolutional networks as the predictive model within BO. However, the analyses in these papers often focus on the full-fledged NAS algorithm, so it is difficult to tell which individual components of the framework lead to the best performance. In this work, we give a thorough analysis of the "BO + neural predictor" framework by identifying five main components: the architecture encoding, neural predictor, uncertainty calibration method, acquisition function, and acquisition optimization strategy. We test several different methods for each component and also develop a novel path-based encoding scheme for neural architectures, which we show theoretically and empirically scales better than other encodings. Using all of our analyses, we develop a final algorithm called BANANAS, which achieves state-of-the-art performance on NAS search spaces. We adhere to the NAS research checklist (Lindauer and Hutter 2019) to facilitate best practices, and our code is available at https://github.com/naszilla/naszilla.

연구 동기 및 목표

• 베이지안 최적화에서 'BO + 신경 예측기' 프레임워크의 구성 요소 수준 분석 부족 문제를 해결하기 위해.
• 아키텍처 인코딩, 신경 예측기, 불확실성 校정, 할당 함수, 할당 최적화 전략과 같은 핵심 구성 요소를 개별적으로 식별하고 최적화하기 위해.
• 확장성과 예측기 정확도를 향상시키기 위해 기존의 인접 행렬 인코딩 대신 새로운 경로 기반 아키텍처 인코딩을 개발하기 위해.
• NASBench-101과 NASBench-201을 포함한 표준 NAS 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.
• NAS 연구 체크리스트를 준수하고 코드를 공개하여 재현 가능성을 높이기 위해.

제안 방법

• 전통적인 가우시안 프로세스를 대체하여 확장성을 향상시키기 위해, 신경 예측기를 사용하는 베이지안 최적화 프레임워크를 활용하여 아키텍처 탐색을 이끌어낸다.
• 각 아키텍처를 고유한 입력-출력 경로의 집합으로 표현하는 새로운 경로 기반 인코딩을 도입하여 특징 간 종속성을 줄이고 신경망에 대한 해석 가능성을 향상시킨다.
• 신경 예측기는 아키텍처 성능을 예측하도록 훈련되며, 베이지안 신경망 또는 앙상블 방법을 통해 불확실성 캘리브레이션을 수행한다.
• 할당 함수(예: 기대 개선도)는 기울기 기반 또는 무작위 탐색 전략을 사용하여 최적화되어 다음으로 평가할 아키텍처를 선택한다.
• 불확실성 캘리브레이션과 할당 최적화를 통합하여 탐색 공간에서 탐색과 탐색의 균형을 이룬다.
• 일致한 훈련 파이프라인과 하이퍼파라미터를 사용하여 NASBench-101, NASBench-201, DARTS 탐색 공간에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 'BO + 신경 예측기' 프레임워크의 어떤 구성 요소가 NAS 성능에 가장 큰 영향을 미치는가?
• RQ2 확장성과 예측기 정확도 측면에서 경로 기반 아키텍처 인코딩은 인접 행렬 인코딩보다 어떻게 비교되는가?
• RQ3 신경 예측기, 불확실성 캘리브레이션, 할당 함수의 어떤 조합이 가장 높은 탐색 효율성과 정확도를 달성하는가?
• RQ4 각 구성 요소를 체계적으로 분석하고 최적화함으로써 재현 가능하고 고성능의 NAS 알고리즘을 구축할 수 있는가?
• RQ5 BANANAS는 일阶(예: DARTS) 및 영계(예: DARTS) NAS 방법과 비교해 최종 정확도와 샘플 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 이론적 분석과 실증 평가에서 경로 기반 인코딩이 인접 행렬 인코딩보다 뚜렷이 뛰어나며, 특징 상관관계가 낮고 확장성이 뛰어나다.
• NASBench-101에서 BANANAS는 DARTS, BOHB, NASBOT, BONAS와 같은 기존 방법들을 능가하는 최신 기술 수준의 정확도를 달성한다.
• NASBench-201에서는 세 가지 데이터셋 전반에서 경쟁 가능한 성능을 내며, 다양한 탐색 공간에서의 강력한 일반화 능력을 입증한다.
• 절단 분석 결과, 신경 예측기, 불확실성 캘리브레이션, 할당 함수의 선택이 최종 성능에 상당한 영향을 미친다.
• DARTS 탐색 공간에서 네 번의 시행 전반에 걸쳐 평균 최종 오차가 0.1% 이내로 매우 안정적인 성능 유지를 유지한다.
• 프레임워크는 재현 가능하며 NAS 연구 체크리스트를 준수하며, 투명성을 확보하기 위해 전체 코드와 하이퍼파라미터 세부 정보를 공개한다.