[논문 리뷰] Bridging the Gap between Sample-based and One-shot Neural Architecture Search with BONAS

Shi Han, Renjie Pi외 4명|arXiv (Cornell University)|2019. 11. 21.

Machine Learning and Data Classification참고 문헌 51인용 수 53

한 줄 요약

BONAS는 그래프 컨볼루션 네트워크(GCN) 임베딩과 베이지안 시그모이드 회귀를 결합하여 베이지안 최적화 기반 탐색을 안내하고, 가중치 공유를 활용해 유망한 아키텍처 배치를 효율적으로 평가함으로써 샘플 기반 NAS의 신뢰도와 속도를 높입니다.

ABSTRACT

Neural Architecture Search (NAS) has shown great potentials in finding better neural network designs. Sample-based NAS is the most reliable approach which aims at exploring the search space and evaluating the most promising architectures. However, it is computationally very costly. As a remedy, the one-shot approach has emerged as a popular technique for accelerating NAS using weight-sharing. However, due to the weight-sharing of vastly different networks, the one-shot approach is less reliable than the sample-based approach. In this work, we propose BONAS (Bayesian Optimized Neural Architecture Search), a sample-based NAS framework which is accelerated using weight-sharing to evaluate multiple related architectures simultaneously. Specifically, we apply Graph Convolutional Network predictor as a surrogate model for Bayesian Optimization to select multiple related candidate models in each iteration. We then apply weight-sharing to train multiple candidate models simultaneously. This approach not only accelerates the traditional sample-based approach significantly, but also keeps its reliability. This is because weight-sharing among related architectures are more reliable than those in the one-shot approach. Extensive experiments are conducted to verify the effectiveness of our method over many competing algorithms.

연구 동기 및 목표

• 샘플 기반 NAS의 효율성을 향상시켜 신뢰할 수 있는 신경망 아키텍처 검색(NAS)을 촉진한다.
• 손으로 설계한 커널 없이 그래프 구조의 아키텍처를 자연스럽게 처리하는 대리 모델(surrogate model)을 개발한다.
• 높은 가능성을 가진 소수 아키텍처에 가중치 공유를 통해 평가를 가속화한다.
• 닫힌 도메인 NAS 벤치마크와 오픈 도메인 탐색 공간에서 BONAS의 이점을 입증한다.
• 아키텍처와 데이터셋 전반에 걸친 BONAS의 전이성(전이 가능성)과 강건성을 보여준다.

제안 방법

• 신경망 아키텍처를 그래프로 인코딩하고 Graph Convolutional Network(GCN)를 통해 전역 그래프 임베딩을 도출한다.
• 가우시안 프로세스 대리모를 GCN 임베딩 위의 베이지안 시그모이드 회귀(BSR)로 교체하여 베이지안 최적화(BO)를 위한 예측 평균과 분산을 얻는다.
• 대리모를 훈련시킬 때 지수 가중 손실을 사용하여 정확도가 높은 아키텍처를 강조한다.
• 쿼리 단계에서 상위 k개의 BO-선정 아키텍처를 배치로 가중치 공유하여 작은 초-네트워크를 구성하고 함께 학습시키며, 공정한 평가를 위해 가중치를 재초기화한다.
• GCN+BSR 대리모가 제공하는 평균/분산을 사용한 UCB 취득으로 풀에서 후보를 선택한다.
• 새로 평가된 아키텍처로 대리모를 반복적으로 업데이트하고 임베딩을 다듬는다.

실험 결과

연구 질문

• RQ1 그래프 기반 임베딩과 베이지안 대리모가 핸드메이드 커널 없이 BO 기반 NAS의 성능을 향상시킬 수 있는가?
• RQ2 작고 높은 가능성을 가진 소수의 아키텍처에 대한 가중치 공유가 전체 학습이나 대규모 가중치 공유보다 신뢰할 수 있고 빠른 평가를 제공하는가?
• RQ3 표준 NAS 벤치마크(NAS-Bench-101/NAS-Bench-201)와 오픈 도메인 탐색 공간(NASNet 등)에서 BONAS의 성능은 최신 방법과 비교하면 어떠한가?
• RQ4 BONAS가 다른 모델 계열(예: LSTM 셀)로도 전이 가능하며 임베딩 크기에 대해 강건한가?

주요 결과

• GCN 기반 예측기가 NAS-Bench-101/201 및 LSTM-12K에서 실제 아키텍처 성능과의 상관관계가 MLP/LSTM/메타-NN 기반 베이스라인보다 더 높게 나타난다.
• BONAS는 닫힌 도메인 NAS 벤치마크에서 경쟁 베이스라인을 일관되게 능가한다.
• 오픈 도메인 NAS (NASNet 탐색 공간)에서 BONAS는 CIFAR-10에서 경쟁력 있는 top-1 오류를 달성하면서 일부 베이스라인에 비해 GPU 일이 현저히 적게 필요하다.
• BONAS는 초-네트워크 단계에서 소배치 가중치 공유(k 약 100)로 수천 개의 아키텍처를 효율적으로 탐색하고 평가할 수 있게 한다.
• CIFAR-10에서 BONAS가 발견한 아키텍처를 ImageNet으로 전이하면 경쟁력 있는 결과를 낼 수 있으며, BONAS-유래 셀은 모바일 제약에서 강한 top-1/top-5 지표를 달성한다.
• 절단 실험은 가중치 손실이 있는 GCN+BSR 대리모와 가중치 공유 쿼리 단계가 성능과 효율성에 이롭다는 것을 보여준다.