[논문 리뷰] Neural Architecture Search: Insights from 1000 Papers

Colin White, Mahmoud Safari외 6명|arXiv (Cornell University)|2023. 01. 20.

Machine Learning and Data Classification인용 수 72

한 줄 요약

이 설문은 NAS 연구를 탐색 공간의 분류, 알고리즘, 속도 향상 및 자원으로 분류하여 2020년 이후 1000+ papers의 연구를 강조하고 다양한 작업에서 빠른 진전과 실용적 지침을 제시합니다.

ABSTRACT

In the past decade, advances in deep learning have resulted in breakthroughs in a variety of areas, including computer vision, natural language understanding, speech recognition, and reinforcement learning. Specialized, high-performing neural architectures are crucial to the success of deep learning in these areas. Neural architecture search (NAS), the process of automating the design of neural architectures for a given task, is an inevitable next step in automating machine learning and has already outpaced the best human-designed architectures on many tasks. In the past few years, research in NAS has been progressing rapidly, with over 1000 papers released since 2020 (Deng and Lindauer, 2021). In this survey, we provide an organized and comprehensive guide to neural architecture search. We give a taxonomy of search spaces, algorithms, and speedup techniques, and we discuss resources such as benchmarks, best practices, other surveys, and open-source libraries.

연구 동기 및 목표

• 신경망 아키텍처 검색(NAS)에 대한 체계적이고 최신 가이드를 제공합니다.
• 탐색 공간, 전략 및 성능 추정/가속 기법으로 NAS를 분류합니다.
• 재현성을 촉진하기 위한 자원, 벤치마크 및 오픈 소스 라이브러리를 논의합니다.

제안 방법

• NAS 검색 공간의 분류 체계(매크로, 체인 구조, 셀 기반, 계층적)를 제시합니다.
• 아키텍처 인코딩과 NAS 성능에 미치는 영향을 설명합니다.
• 블랙박스 최적화 및 원샷 NAS 전략을 baselines 및 일반 알고리즘과 함께 조사합니다.
• 가속을 위한 속도 향상 기법과 성능 추정 방법을 요약합니다.
• 확장, 응용 및 자원(벤치마크, 설문, 라이브러리)을 논의합니다.

실험 결과

연구 질문

• RQ1 주요 NAS 탐색 공간은 무엇이며 표현력과 탐색 효율성은 어떻게 차이가 나는가?
• RQ2 지배적인 NAS 탐색 전략은 무엇이며 강건성과 속도 측면에서 어떻게 비교되는가?
• RQ3 실용적인 대규모 NAS를 가능하게 하는 속도 향상 및 성능 추정 기법은 무엇인가?
• RQ4 재현 가능한 NAS 연구를 지원하는 자원(벤치마크, 라이브러리, 모범 사례)은 무엇인가?
• RQ5 이미지 분류를 넘어 다른 도메인에서 NAS가 어떻게 진화해 왔는가?

주요 결과

• NAS는 빠르게 진화하고 있으며, 지난 2년간 1000편이 넘는 NAS 논문이 등장하여 다양한 작업에서 많은 인간이 설계한 아키텍처를 능가하고 있습니다.
• 원샷 및 가중치 공유 방식은 NAS의 속도를 크게 높이고 점점 더 강건해지는 반면, 전통적인 블랙박스 방법은 특정 설정에서 여전히 가치가 있습니다.
• 셀 기반 탐색 공간은 효율성과 전달 가능성 때문에 가장 인기가 있지만 표현력을 제한할 수 있습니다; 계층적 공간은 탐색 비용이 증가하더라도 더 큰 표현력을 제공합니다.
• NAS-Bench-101과 같은 벤치마크는 NAS의 재현성과 과학적 연구를 발전시켰으며, NAS 연구는 비전에서 음성, NLP 등으로 확대되었습니다.
• 다양한 인코딩 전략(graph-based, path-based, learned encodings)은 NAS 성능과 일반화에 큰 영향을 미칩니다.