[논문 리뷰] Neural Architecture Search: A Survey

Thomas Elsken, Jan Hendrik Metzen외 1명|arXiv (Cornell University)|2018. 08. 16.

Machine Learning and Data Classification참고 문헌 94인용 수 1,401

한 줄 요약

이 설문은 신경망 구조 검색(NAS) 방법을 검색 공간, 검색 전략 및 성능 추정 전략으로 분류하고 일반적 설계, 알고리즘 및 향후 방향을 개관한다. RL, 진화, 베이지안 및 기울기 기반 접근법을 비교하고 구조 평가의 효율성 기법을 논의한다.

ABSTRACT

Deep Learning has enabled remarkable progress over the last years on a variety of tasks, such as image recognition, speech recognition, and machine translation. One crucial aspect for this progress are novel neural architectures. Currently employed architectures have mostly been developed manually by human experts, which is a time-consuming and error-prone process. Because of this, there is growing interest in automated neural architecture search methods. We provide an overview of existing work in this field of research and categorize them according to three dimensions: search space, search strategy, and performance estimation strategy.

연구 동기 및 목표

• 딥 러닝용 아키텍처 엔지니어링 자동화를 위한 논리적 단계로 NAS 연구를 동기화한다.
• 검색 공간, 검색 전략, 성능 추정 전략으로 NAS 방법을 분류한다.
• 역사적 및 현재의 접근 방식(RL, 진화, BO, 기울기 기반)과 성능 추정의 효율 기술을 조사한다.

제안 방법

• 세 가지 차원에 따라 NAS 문헌을 검토하고 분류한다: 검색 공간, 검색 전략, 성능 추정.
• 연쇄 구조형(chain-structured), 스킵 연결이 있는 다분 브랜치 다리형 공간, 셀 기반 공간 등 일반적인 검색 공간을 설명하고 최적화에 대한 함의를 논의한다.
• 강화 학습, 신경 진화, 베이지안 최적화, 기울기 기반 방법, 무작위/등산 알고리즘 등 다양한 검색 전략과 장단점을 요약한다.
• 저비용 프록시, 학습 곡선 외삽, 가중치 상속/변형, 원샷 모델 등 비용을 줄이기 위한 성능 추정 전략을 설명하고 편향을 다룬다.

Figure 1: Abstract illustration of Neural Architecture Search methods. A search strategy selects an architecture $\mathsf{A}$ from a predefined search space $\mathcal{A}$ . The architecture is passed to a performance estimation strategy, which returns the estimated performance of $\mathsf{A}$ to the

실험 결과

연구 질문

• RQ1 NAS의 주요 구성요소 및 설계 선택(검색 공간, 검색 전략, 성능 추정)과 이들이 어떻게 상호 작용하는가?
• RQ2 다른 NAS 접근 방식(RL, 진화, BO, 기울기 기반)이 효율성 및 최종 성능 측면에서 어떻게 비교되는가?
• RQ3 NAS 성능 추정을 가속하는 기술은 무엇이며 어떤 편향을 유발하는가?
• RQ4 향후 방향은 NAS를 이미지 분류를 넘어 다중 작업, 다중 목적 또는 강건한 아키텍처로 확장할 수 있는가?

주요 결과

• NAS 방법은 다양한 연구에서 이미지 분류, 물체 인식, 의미 분할 과제에서 수작업 아키텍처를 능가했다.
• 셀 기반 검색 공간은 검색 공간 규모를 줄이고 데이터셋 간 전이 가능성을 높여 더 빠른 검색과 학습된 설계의 재사용을 가능하게 한다.
• 원샷 및 가중치 공유 NAS는 계산 자원을 GPU 일수로 대폭 감소시키지만 잠재적 편향과 상관관계를 야기할 수 있어 신중한 분석이 필요하다.
• Gradient-based NAS (continuous relaxations)는 효율적 최적화를 가능하게 하지만 이완 품질에 의존하며 최적화 후 이산화가 필요할 수 있다.
• RL과 진화는 언제든 간에 성능에 경쟁력 있는 결과를 제공하나 언제든지의 성능과 아키텍처 크기에 대한 서로 다른 트레이드오프가 존재하며 보고된 연구에서는 무작위 탐색이 일반적으로 뒤처진다.
• 저해상도 성능 추정이 탐색 속도를 올린다는 증거가 있지만 해상도 차이가 큰 경우 아키텍처 순위에 편향을 줄 수 있다.

Figure 3: Illustration of the cell search space. Left: Two different cells, e.g., a normal cell (top) and a reduction cell (bottom) (Zoph et al., 2018 ) . Right: an architecture built by stacking the cells sequentially. Note that cells can also be combined in a more complex manner, such as in multi-