[논문 리뷰] Efficient Neural Architecture Search with Network Morphism

Haifeng Jin, Qingquan Song외 1명|arXiv (Cornell University)|2018. 06. 27.

Advanced Neural Network Applications인용 수 63

한 줄 요약

이 논문은 효율적인 신경망 아키텍처 탐색(NAS)을 위한 베이지안 최적화 유도 네트워크 모르피즘 프레임워크를 제안한다. 신경망 커널과 트리 구조의 할당 함수 최적화를 사용하여 모프 연산 선택을 가속화한다. 이 방법은 실제 데이터셋에서 상태최고 수준의 성능을 달성하며, 검색 비용을 크게 감소시킨다.

ABSTRACT

While neural architecture search (NAS) has drawn increasing attention for automatically tuning deep neural networks, existing search algorithms usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling a more efficient training during the search. However, network morphism based NAS is still computationally expensive due to the inefficient process of selecting the proper morph operation for existing architectures. As we know, Bayesian optimization has been widely used to optimize functions based on a limited number of observations, motivating us to explore the possibility of making use of Bayesian optimization to accelerate the morph operation selection process. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search by introducing a neural network kernel and a tree-structured acquisition function optimization algorithm. With Bayesian optimization to select the network morphism operations, the exploration of the search space is more efficient. Moreover, we carefully wrapped our method into an open-source software, namely Auto-Keras for people without rich machine learning background to use. Intensive experiments on real-world datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art baseline methods.

연구 동기 및 목표

• 기존 신경망 아키텍처 탐색(NAS) 방법의 높은 계산 비용을 해결한다.
• 네트워크 모르피즘 기반 NAS에서의 모프 연산 선택의 비효율성을 극복한다.
• 베이지안 최적화를 활용해 모프 연산 선택을 유도하고 검색 효율성을 향상시킨다.
• 비전문가가 사용할 수 있도록 오픈소스 도구인 Auto-Keras를 개발한다.
• 최신 기준 대비 실제 데이터셋에서 뛰어난 성능과 효율성을 입증한다.

제안 방법

• 베이지안 최적화에서 모프 연산과 성능 간의 관계를 모델링하기 위해 신경망 커널을 도입한다.
• 모프 연산의 검색 공간을 효율적으로 탐색하기 위해 트리 구조의 할당 함수 최적화 알고리즘을 설계한다.
• 관측된 성능 기반으로 반복적으로 가장 유망한 모프 연산을 선택하기 위해 베이지안 최적화를 사용한다.
• 예측 행동을 유지하는 아키텍처 변환을 통해 모르피즘 중에도 네트워크 기능을 유지한다.
• 비전문가 사용자가 쉽게 배포할 수 있도록 Auto-Keras에 프레임워크를 통합한다.
• 제한된 성능 평가를 활용해 높은 샘플 효율성으로 검색을 유도한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화가 네트워크 모르피즘 기반 NAS에서 모프 연산 선택을 효과적으로 가속화할 수 있는가?
• RQ2 제안된 신경망 커널이 모프 연산 성능를 모델링하는 데 어떤 개선을 이룬다?
• RQ3 기존 방법과 비교해 트리 구조의 할당 함수 최적화가 검색 효율을 얼마나 향상시키는가?
• RQ4 정확도와 계산 비용 측면에서 이 프레임워크는 최신 기준 NAS 방법과 어떻게 비교되는가?
• RQ5 이 프레임워크는 광범위한 접근성을 확보하기 위해 오픈소스 도구로 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 프레임워크는 계산 비용을 크게 감소시키면서도 실제 데이터셋에서 상태최고 수준의 성능을 달성한다.
• 신경망 커널을 사용한 베이지안 최적화가 모프 연산 검색 공간의 더 효율적인 탐색을 가능하게 한다.
• 트리 구조의 할당 함수 최적화가 모프 연산 선택의 샘플 효율성을 향상시킨다.
• 기준 데이터셋에서 기존 NAS 기준 대비 정확도와 검색 효율성 양면에서 모두 뛰어난 성능을 보인다.
• Auto-Keras에 통합되어 비전문가 사용자가 심층 학습 전문 지식 없이도 효율적인 NAS를 수행할 수 있다.
• 다양한 실제 데이터셋에 걸쳐 강력한 일반화성과 확장성을 입증한다.