[논문 리뷰] Efficient Sample-based Neural Architecture Search with Learnable Predictor

Han Shi, Renjie Pi외 4명|arXiv (Cornell University)|2019. 11. 21.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 샘플 기반 신경망 아키텍처 탐색(NAS) 프레임워크인 BONAS를 제안한다. BONAS는 베이지안 최적화와 학습 가능한 그래프 컬러션 네트워크 예측기의 조합을 통해 샘플링 효율성을 향상시킨다. 샘플링에 진화 알고리즘을 사용하고, 성능 예측을 위한 서rogate 모델을 도입함으로써 BONAS는 NAS-Bench-101에서 랜덤 서치 대비 123.7배 높은 효율성과 이전 최고 성능(SOTA) 방법 대비 7.5배 높은 효율성을 달성한다.

ABSTRACT

Neural Architecture Search (NAS) has shown great potentials in finding a better neural network design than human design. Sample-based NAS is the most fundamental method aiming at exploring the search space and evaluating the most promising architecture. However, few works have focused on improving the sampling efficiency for NAS algorithm. For balancing exploitation and exploration, we propose BONAS (Bayesian Optimized Neural Architecture Search), a sample-based NAS framework combined with Bayesian Optimization. The main components of BONAS are Sampler and Learnable Embedding Extractor. Specifically, we apply Evolution Algorithm method as our sampler and apply Graph Convolutional Network predictor as a surrogate model to adaptively discover and incorporate nodes structure to approximate the performance of the architecture. For NAS-oriented tasks, we also design a weighted loss focusing on architectures with high performance. Extensive experiments are conducted to verify the effectiveness of our method over many competing methods, e.g. 123.7x more efficient than Random Search and 7.5x more efficient than previous SOTA LaNAS for finding the best architecture on the largest NAS data set NAS-Bench-101.

연구 동기 및 목표

• 비용이 많이 드는 아키텍처 평가 횟수를 줄임으로써 샘플 기반 신경망 아키텍처 탐색(NAS)에서 샘플링 효율성을 향상시키는 것.
• 베이지안 최적화 프레임워크를 통해 NAS의 탐색-이용 균형 문제를 해결하는 것.
• 구조적 표현을 적응적으로 학습하고 높은 정확도로 성능을 예측할 수 있는 서rogate 모델을 개발하는 것.
• 학습 중 예측기의 성능을 향상시키기 위해 고성능 아키텍처를 우선순위로 삼는 가중 손실 함수를 설계하는 것.

제안 방법

• BONAS는 후보 아키텍처를 생성하고 평가 대상으로 선별하기 위해 진화 알고리즘을 샘플러로 활용한다.
• 그래프 컬러션 네트워크(GCN) 기반 예측기가 아키텍처의 성능을 완전한 학습 없이도 추정하는 서rogate 모델로 기능한다.
• 예측 정확도를 향상시키기 위해 고성능 아키텍처에 중점을 두어 학습하는 가중 손실 함수를 사용하여 예측기를 훈련시킨다.
• 탐색과 이용의 균형을 유지하면서 샘플링 과정을 안내하기 위해 베이지안 최적화를 통합한다.
• 구조적 정보를 탐색 공간에서 효과적으로 포착하기 위해 기울기 가능 임베딩 추출기를 통해 아키텍처 표현을 학습한다.
• 새로운 평가 결과를 동적으로 업데이트함으로써 시간이 지남에 따라 적응적이고 효율적인 탐색이 가능하도록 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 성능에 손상이 가지 않도록 샘플 기반 NAS에서 샘플링 효율성을 크게 향상시킬 수 있는가?
• RQ2 그래프 컬러션 네트워크 기반의 학습 가능한 서rogate 모델이 최소한의 학습 데이터로 신경망 아키텍처 성능을 효과적으로 예측할 수 있는가?
• RQ3 베이지안 최적화와 학습 가능한 예측기를 통합함으로써 필요한 아키텍처 평가 횟수를 얼마나 줄일 수 있는가?
• RQ4 고성능 아키텍처에 집중된 가중 손실 함수는 성능 예측기의 정확도를 어떻게 향상시키는가?
• RQ5 제안된 방법은 효율성과 최종 아키텍처 정확도 측면에서 기존 최고 수준의 NAS 접근 방식을 초월할 수 있는가?

주요 결과

• BONAS는 NAS-Bench-101 데이터셋에서 랜덤 서치 대비 123.7배 높은 효율성을 달성하여 평가 횟수를 크게 줄였다.
• 이전 SOTA 방법인 LaNAS 대비 7.5배 높은 효율성을 확보하면서도 최종 아키텍처 성능을 유지하거나 향상시켰다.
• 가중 손실 함수를 적용한 GCN 기반 예측기는 고성능 아키텍처에서 뛰어난 일반화 성능을 보이며, 핵심 후보 아키텍처의 예측 오차를 감소시켰다.
• 베이지안 최적화 통합으로 탐색과 이용의 효과적 균형을 확보하여 최적 아키텍처에의 수렴 속도를 가속화했다.
• 학습 가능한 임베딩 추출기는 신경망 아키텍처의 구조적 패턴을 성공적으로 포착하여 아키텍처의 구조적 특성만으로도 정확한 성능 예측이 가능함을 입증했다.