[논문 리뷰] A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions

Pengzhen Ren, Yun Xiao외 5명|arXiv (Cornell University)|2020. 06. 01.

Machine Learning and Data Classification참고 문헌 155인용 수 202

한 줄 요약

본 고찰은 NAS를 초기 과제로부터 현대 솔루션으로 재구성하고, 네 가지 축의 최적화 프레임워크(모듈식 검색 공간, 연속 탐색, 아키텍처 재활용, 불완전 학습)를 제시하며 향후 연구 방향을 제시한다.

ABSTRACT

Deep learning has made breakthroughs and substantial in many fields due to its powerful automatic representation capabilities. It has been proven that neural architecture design is crucial to the feature representation of data and the final performance. However, the design of the neural architecture heavily relies on the researchers' prior knowledge and experience. And due to the limitations of human' inherent knowledge, it is difficult for people to jump out of their original thinking paradigm and design an optimal model. Therefore, an intuitive idea would be to reduce human intervention as much as possible and let the algorithm automatically design the neural architecture. Neural Architecture Search (NAS) is just such a revolutionary algorithm, and the related research work is complicated and rich. Therefore, a comprehensive and systematic survey on the NAS is essential. Previously related surveys have begun to classify existing work mainly based on the key components of NAS: search space, search strategy, and evaluation strategy. While this classification method is more intuitive, it is difficult for readers to grasp the challenges and the landmark work involved. Therefore, in this survey, we provide a new perspective: beginning with an overview of the characteristics of the earliest NAS algorithms, summarizing the problems in these early NAS algorithms, and then providing solutions for subsequent related research work. Besides, we conduct a detailed and comprehensive analysis, comparison, and summary of these works. Finally, we provide some possible future research directions.

연구 동기 및 목표

• 초기 RL/EA 방법에서 현대의 효율적 전략까지 Neural Architecture Search (NAS)의 진화를 설명한다.
• NAS의 핵심 도전 과제(검색 공간, 검색 효율성, 평가)를 식별하고 이를 구체적 해결책에 매핑한다.
• 네 가지 주요 최적화 방향과 NAS 효과성에 대한 영향을 강조하는 통합 프레임워크를 제안한다.

제안 방법

• 역사적 NAS 연구를 분석하여 기본 특성과 한계를 식별한다.
• 네 가지 최적화 방향(모듈식 검색 공간, 연속 탐색 전략, 신경망 아키텍처 재활용, 불완전 학습)을 제시하고 종합한다.
• 연속화 가능한 탐색(DARTS 등)이 이산 선택을 완화하여 그래디언트 기반 최적화를 가능하게 하는 방식을 설명한다.
• 모듈식 검색 공간(셀/블록)이 성능을 유지하면서 검색 복잡성을 감소시키는 방식을 논의한다.
• 효율성, 확장성 및 더 넓은 응용 도메인과 관련하여 NAS의 진화를 맥락화한다.

실험 결과

연구 질문

• RQ1 초기 NAS 접근 방식의 주요 한계는 무엇이었으며, 이후 방법들이 어떻게 이를 해결했는가?
• RQ2 모듈식 검색 공간과 연속 최적화가 NAS의 효율성과 효과를 어떻게 개선하는가?
• RQ3 신경망 아키텍처 재활용과 불완전 학습이 NAS 중 계산 부담을 줄이는 데 어떤 역할을 하는가?
• RQ4 NAS 연구에서 남아 있는 향후 방향과 과제는 무엇인가?

주요 결과

• NAS 진화에 대한 포괄적이고 도전과제에서 해결책으로의 관점을 제공한다.
• 네 가지 핵심 최적화 방향과 검색 효율성 및 아키텍처 품질에 대한 실용적 영향을 강조한다.
• 광범위한 셀 기반 검색 공간 접근 방식을 검토하고 현대 NAS 설계에 미친 영향을 다룬다.
• 평가 과제와 통합 벤치마크 및 향후 연구 방향의 필요성을 논의한다.