[논문 리뷰] Auto-Keras: Efficient Neural Architecture Search with Network Morphism

Haifeng Jin, Qingquan Song외 1명|arXiv (Cornell University)|2018. 06. 27.

Machine Learning and Data Classification참고 문헌 30인용 수 65

한 줄 요약

이 논문은 네트워크 모르포이즘과 베이지안 최적화를 활용하여 계산 비용을 줄이는 효율적인 신경망 아키텍처 탐색 프레임워크인 Auto-Keras를 제안한다. 신경망 커널과 트리 구조의 할당 함수 최적화를 도입함으로써, 아키텍처 전반에 걸쳐 빠르고 적응형 탐색이 가능해졌으며, 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 동적 메모리 적응 기능을 갖춘 병렬 CPU/GPU 실행을 지원한다.

ABSTRACT

Neural architecture search (NAS) has been proposed to automatically tune deep neural networks, but existing search algorithms, e.g., NASNet, PNAS, usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling more efficient training during the search. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search. The framework develops a neural network kernel and a tree-structured acquisition function optimization algorithm to efficiently explores the search space. Intensive experiments on real-world benchmark datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art methods. Moreover, we build an open-source AutoML system based on our method, namely Auto-Keras. The system runs in parallel on CPU and GPU, with an adaptive search strategy for different GPU memory limits.

연구 동기 및 목표

• NASNet과 PNAS와 같은 기존 신경망 아키텍처 탐색(NAS) 방법의 높은 계산 비용을 해결하기 위해.
• 기존 아키텍처를 변형함으로써 功能를 유지하면서 아키텍처를 수정함으로써, 네트워크 모르포이즘을 통해 큰 신경망 아키텍처 공간에서의 효율적 탐색을 가능하게 하기 위해.
• 신경망 커널과 트리 구조의 할당 함수를 갖춘 베이지안 최적화 프레임워크를 개발하여, 효과적인 탐색을 가능하게 하기 위해.
• GPU 메모리 제약에 따라 동적으로 메모리 사용을 조정할 수 있는 실용적이고 오픈소스인 AutoML 시스템(Auto-Keras)을 구축하기 위해.

제안 방법

• 모프드된 아키텍처와 그 성능 간의 관계를 모델링하기 위해 신경망 커널을 도입한다.
• 탐색 공간을 효율적으로 탐색하기 위해 트리 구조의 할당 함수 최적화 알고리즘을 활용한다.
• 기존 아키텍처(예: 레이어 추가 또는 제거)를 변형함으로써 功能를 유지하면서 네트워크 모르포이즘을 적용한다.
• 성능 예측에 기반하여 모르포이즘 단계를 가이드하는 베이지안 최적화를 적용함으로써, 전체 재학습이 필요한 경우를 줄인다.
• 가용 GPU 메모리에 따라 조정되는 적응형 탐색 전략을 설계하여 다양한 하드웨어에서 효율적인 실행을 가능하게 한다.
• 다양한 아키텍처를 병렬로 탐색할 수 있도록 CPU와 GPU를 위한 병렬 실행 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 네트워크 모르포이즘과 베이지안 최적화를 효과적으로 조합하여 신경망 아키텍처 탐색의 계산 비용을 줄일 수 있는가?
• RQ2 어떻게 모프드된 아키텍처를 모델링하고 효율적으로 탐색을 이끄는 신경망 커널을 설계할 수 있는가?
• RQ3 복잡한 아키텍처 공간을 탐색할 때 트리 구조의 할당 함수가 기존 할당 함수보다 우월한가?
• RQ4 기존 NAS 방법과 비교해 볼 때, 제안된 프레임워크는 얼마나 높은 정확도를 달성하면서도 탐색 비용을 줄일 수 있는가?
• RQ5 다양한 GPU 메모리 제약을 가진 하드웨어 구성에서 Auto-Keras 시스템은 얼마나 잘 스케일링되는가?

주요 결과

• 제안된 프레임워크는 실제 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 NAS 방법보다 정확도에서 뛰어난 성능을 보였다.
• 네트워크 모르포이즘의 적용으로 기존 NAS 접근 방식과 비교해 훨씬 낮은 학습 비용으로 효율적인 아키텍처 탐색이 가능했다.
• 트리 구조의 할당 함수 최적화 방법은 표준 방법보다 아키텍처 공간의 탐색을 더 효과적으로 가능하게 하였다.
• Auto-Keras 시스템은 CPU와 GPU에서 병렬로 실행되며, 탐색 중 다양한 메모리 제약 조건에 적응하였다.
• 이 프레임워크는 뛰어난 일반화 능력과 효율성을 보이며, 실생활 응용에 적합한 자동화된 신경망 아키텍처 탐색을 실현하였다.