[논문 리뷰] A Survey on Neural Architecture Search

Martin Wistuba, Ambrish Rawat외 1명|arXiv (Cornell University)|2019. 05. 04.

Machine Learning and Data Classification참고 문헌 113인용 수 208

한 줄 요약

본 고찰은 신경망 아키텍처 탐색(NAS)에 대한 통일된 형식화를 제시하고, 글로벌 검색 공간과 셀 기반 검색 공간을 비교하며, 강화 학습, 진화 알고리즘, 대리 모델/원샷 모델과 같은 최적화 방법을 검토합니다.

ABSTRACT

The growing interest in both the automation of machine learning and deep learning has inevitably led to the development of a wide variety of automated methods for neural architecture search. The choice of the network architecture has proven to be critical, and many advances in deep learning spring from its immediate improvements. However, deep learning techniques are computationally intensive and their application requires a high level of domain knowledge. Therefore, even partial automation of this process helps to make deep learning more accessible to both researchers and practitioners. With this survey, we provide a formalism which unifies and categorizes the landscape of existing methods along with a detailed analysis that compares and contrasts the different approaches. We achieve this via a comprehensive discussion of the commonly adopted architecture search spaces and architecture optimization algorithms based on principles of reinforcement learning and evolutionary algorithms along with approaches that incorporate surrogate and one-shot models. Additionally, we address the new research directions which include constrained and multi-objective architecture search as well as automated data augmentation, optimizer and activation function search.

연구 동기 및 목표

• NAS 문제 및 공간 정의의 조사와 형식화
• 글로벌 NAS 공간과 셀 기반 NAS 공간의 비교 및 전이 가능성
• 강화 학습, 진화 알고리즘, 대리 모델/원샷 NAS를 포함한 최적화 방법의 검토와 그 트레이드오프
• 제약 조건, 다목적 최적화, 자동화된 데이터 증강/옵티마이저/활성화 검색으로의 확장 논의
• NAS에서의 주요 도전과제와 향후 연구 방향 하이라이트

제안 방법

• 연산과 입력을 노드로 표현하는 계산 그래프의 탐색으로 NAS를 정의한다.
• 글로벌 검색 공간과 셀 기반 검색 공간으로 NAS 공간을 분류하고 대표적 설계를 논의한다.
• 알파-아키텍처 표현과 목적 기반 최적화를 통해 NAS의 통합적 형식 프레임워크를 제시한다.
• 강화 학습, 진화 알고리즘, 대리 모델 기반 최적화, 원샷 NAS를 포함한 최적화 방법을 형식적 문제 설정과 함께 검토한다.
• 다목적, 제약 최적화, 모델 압축을 NAS의 확장으로 분석한다.
• 공간 설계와 최적화 전략을 대조하기 위한 주요 NAS 연구에서의 예시를 제공한다.

실험 결과

연구 질문

• RQ1 공통 NAS 검색 공간은 무엇이며 글로벌 공간과 셀 기반 공간은 어떻게 다른가?
• RQ2 다양한 최적화 방법(RL, 진화, 대리/원샷)은 NAS 내에서 어떻게 작동하며 트레이드오프는 무엇인가?
• RQ3 다목적 최적화, 제약, 데이터 증강, 활성화/옵티마이저 검색으로 구성된 확장이 NAS 연구 방향에 어떤 영향을 미치는가?
• RQ4 NAS 아키텍처가 데이터셋이나 작업 간에 전이 가능한가? 전이를 가능하게 하는 공간 속성은 무엇인가?
• RQ5 NAS 방법론에서의 함정과 오해는 무엇이며 이를 어떻게 완화할 수 있는가?

주요 결과

• 셀 기반 NAS 공간(NASNet 등)은 전이 가능성과 확장 가능한 설계로 널리 채택된다.
• 글로벌 검색 공간은 더 큰 다양성과 모바일 아키텍처에 대한 잠재적 이점을 제공하지만 전이가 더 어렵다.
• 원샷 및 대리 모델 기반 접근법은 NAS의 계산 부담을 줄일 수 있다(인용된 방법을 통해 논의됨).
• 다목적 및 제약 NAS는 매개변수와 지연(y latency)과 같은 배포 고려사항을 다루는 활발한 방향이다.
• 초기 아키텍처와 공간 설계는 NAS 결과 및 작업 간 전이 가능성에 큰 영향을 미친다.
• 강화 학습과 진화 전략은 아키텍처 탐색에 상호 보완적 강점을 제공한다.