[논문 리뷰] Auto-Keras: An Efficient Neural Architecture Search System

Haifeng Jin, Qingquan Song외 1명|arXiv (Cornell University)|2018. 06. 27.

Machine Learning and Data Classification참고 문헌 35인용 수 83

한 줄 요약

이 논문은 네트워크 모핑에 의해 안내되는 베이지안 최적화를 사용하고 편집거리 신경망 커널로 비유클리드 NAS 탐색 공간에서 효율적으로 아키텍처를 탐색하는 오픈 소스 AutoML 시스템 Auto-Keras를 제시한다.

ABSTRACT

Neural architecture search (NAS) has been proposed to automatically tune deep neural networks, but existing search algorithms, e.g., NASNet, PNAS, usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling more efficient training during the search. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search. The framework develops a neural network kernel and a tree-structured acquisition function optimization algorithm to efficiently explores the search space. Intensive experiments on real-world benchmark datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art methods. Moreover, we build an open-source AutoML system based on our method, namely Auto-Keras. The system runs in parallel on CPU and GPU, with an adaptive search strategy for different GPU memory limits.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 자동 튜닝을 촉진하고 가능하게 하여 사람의 전문 지식과 계산 비용을 줄인다.
• 네트워크 모하이머니즘과 베이지안 최적화를 결합하여 큰 탐색 공간을 효율적으로 탐색하는 NAS 프레임워크를 개발한다.
• 메모리 적응형 검색을 갖춘 CPU 및 GPU에서 실행되는 오픈 소스 AutoML 시스템(Auto-Keras)을 만든다.
• 비유클리드 아키텍처 공간 및 NAS의 트리 구조 탐색 도전 과제를 다룬다.
• 제한된 탐색 시간으로 표준 벤치마크에서 우수한 성능을 입증한다.

제안 방법

• 아키텍처 간의 GP 호환 유사도를 정의하기 위해 편집 거리 신경망 커널을 도입한다.
• NAS 탐색 공간을 효율적으로 탐색하기 위한 트리 구조의 Acquisition 최적화 방법을 정의한다( A*/시뮬레이티드 어닐링 하이브리드 ).
• 모핑 연산 중 텐서 형태의 일관성을 유지하기 위한 그래프 수준의 네트워크 모orphism을 제안한다.
• 탐색 중 아키텍처를 GPU 메모리 제약에 맞추는 메모리 적응형 전략을 제공한다.
• 사용 편의를 위한 CPU/GPU 병렬 처리, 확장 가능한 그래프 모듈, Keras 호환 API를 갖춘 Auto-Keras를 구현한다.

실험 결과

연구 질문

• RQ1 네트워크 모шему에 의해 guiding된 베이지안 최적화가 NAS 탐색 시간을 줄이면서 고성능 아키텍처를 찾는 데 얼마나 효과적인가?
• RQ2 편집 거리 기반 신경망 커널이 NAS에서 가우시안 프로세스의 아키텍처 유사성을 포착할 수 있는가?
• RQ3 트리 구조의 Acquisition 최적화가 모핑 탐색 공간에서 탐색과 활용 사이의 균형을 신뢰할 수 있게 유지하는가?
• RQ4 제한된 탐색 시간하에서 Auto-Keras가 표준 벤치마크(MNIST, CIFAR-10, Fashion-MNIST)에서 기존 NAS/AutoML 방법과 비교하여 얼마나 성능을 발휘하는가?
• RQ5 메모리 적응형 전략과 CPU/GPU 병렬 처리가 실제로 얼마나 잘 확장되는가?

주요 결과

• 제한된 탐색 시간하에서 Auto-Keras는 MNIST, CIFAR-10, Fashion-MNIST에서 기본 NAS 방법보다 우수한 성능을 달성한다.
• 새로운 편집 거리 신경망 커널이 비유클리드 NAS 탐색 공간에서 가우시안 프로세스 회귀를 가능하게 한다.
• A*/시뮬레이티드 어닐링 하이브리드가 적용된 트리 구조의 Acquisition 최적화가 모핑 연산을 효율적으로 탐색한다.
• 그래프 수준의 네트워크 모orphism이 모핑 중 중간 텐서 형태를 보존하여 확장 가능한 아키텍처 업데이트를 가능하게 한다.
• CPU/GPU 병렬처리와 GPU 메모리 적응은 다양한 하드웨어에서 탐색 효율성과 실행 가능성을 크게 향상시킨다.