[논문 리뷰] Sample-Efficient Neural Architecture Search by Learning Action Space

Linnan Wang, Saining Xie외 3명|arXiv (Cornell University)|2019. 06. 17.

Machine Learning and Data Classification참고 문헌 66인용 수 37

한 줄 요약

LaNAS는 NAS 탐색 공간을 분할하기 위한 잠재 행동을 학습하여 Monte Carlo Tree Search를 가능하게 하며, 이는 기준 대비 샘플 효율이 현저히 높고 평가 수가 훨씬 적은 상태에서 최첨단 정확도에 도달한다.

ABSTRACT

Neural Architecture Search (NAS) has emerged as a promising technique for automatic neural network design. However, existing MCTS based NAS approaches often utilize manually designed action space, which is not directly related to the performance metric to be optimized (e.g., accuracy), leading to sample-inefficient explorations of architectures. To improve the sample efficiency, this paper proposes Latent Action Neural Architecture Search (LaNAS), which learns actions to recursively partition the search space into good or bad regions that contain networks with similar performance metrics. During the search phase, as different action sequences lead to regions with different performance, the search efficiency can be significantly improved by biasing towards the good regions. On three NAS tasks, empirical results demonstrate that LaNAS is at least an order more sample efficient than baseline methods including evolutionary algorithms, Bayesian optimizations, and random search. When applied in practice, both one-shot and regular LaNAS consistently outperform existing results. Particularly, LaNAS achieves 99.0% accuracy on CIFAR-10 and 80.8% top1 accuracy at 600 MFLOPS on ImageNet in only 800 samples, significantly outperforming AmoebaNet with 33x fewer samples. Our code is publicly available at https://github.com/facebookresearch/LaMCTS.

연구 동기 및 목표

• NAS에서 액션 공간 설계의 중요성과 그것이 탐색 효율성에 미치는 영향을 제시한다.
• 검색 공간을 성능이 높은 영역과 낮은 영역으로 분할하는 잠재 행동을 학습하는 방법을 제안한다.
• 학습된 행동을 Monte Carlo Tree Search와 통합하여 효율적으로 아키텍처를 샘플링한다.
• 다양한 NAS 벤치마크에서 LaNAS를 평가하고 기본 탐색 방법과 비교한다.

제안 방법

• 각 노드에서 잠재 행동을 정의하는 선형 회귀기로 NAS 탐색 공간의 분할을 모델링한다.
• 공간을 재귀적으로 좋고 나쁜 영역으로 분할하여 계층적 트리를 형성한다.
• UCB가 있는 Monte Carlo Tree Search를 사용해 리프를 탐색하고 분할된 영역에서 아키텍처를 샘플링한다.
• 성능 추정을 위해 처음부터 학습하거나 마스킹이 있는 원샷 슈퍼넷을 사용하여 평가한다.
• 마스킹으로 특정 아키텍처로 변환하기 위해 선택적으로 원샷 NAS 슈퍼넷과 통합한다.

실험 결과

연구 질문

• RQ1 NAS 공간을 분할하기 위해 잠재 행동을 학습하는 것이 MCTS의 탐색 효율성을 향상시킬 수 있는가?
• RQ2 NAS 벤치마크 전반에서 LaNAS가 진화적, 베이지안, 무작위 탐색 및 MCTS 기준선과 비교하여 어떤 성능을 보이는가?
• RQ3 트리 높이, 초기화 샘플, 그리고 UCB 하이퍼파라미터가 탐색 성능에 미치는 영향은 무엇인가?
• RQ4 원샷 NAS와의 통합이 평가 비용과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• LaNAS는 NAS 작업 전반에서 기준 방법보다 훨씬 높은 샘플 효율을 달성한다.
• CIFAR-10에서 800 샘플로 99.0% 정확도에 도달한다.
• ImageNet(600 MFLOPS 모바일 설정)에서 800 샘플로 상위 1% 정확도(top-1 accuracy) 80.8%를 달성한다.
• LaNAS는 AmoebaNet에 비해 약 33배 적은 샘플로 경쟁력 있는 성능에 도달한다.
• LaNAS는 기본선보다 일관되게 우수하며 NAS의 실제 사용에서 대규모 GPU 자원으로도 확장 가능하다.