[논문 리뷰] Random Search and Reproducibility for Neural Architecture Search

Liam Li, Ameet Talwalkar|arXiv (Cornell University)|2019. 02. 20.

Machine Learning and Data Classification참고 문헌 47인용 수 253

한 줄 요약

본 논문은 간단한 무작위 검색 기초(base lines)들이 (조기 중단과 가중치 공유를 포함) PTB와 CIFAR-10에서 최첨단 NAS 방법과 경쟁력이 있음을 보여주고, NAS 연구의 재현성 문제를 분석하는 한편 정확한 재현을 위한 오픈 리소스를 제공한다.

ABSTRACT

Neural architecture search (NAS) is a promising research direction that has the potential to replace expert-designed networks with learned, task-specific architectures. In this work, in order to help ground the empirical results in this field, we propose new NAS baselines that build off the following observations: (i) NAS is a specialized hyperparameter optimization problem; and (ii) random search is a competitive baseline for hyperparameter optimization. Leveraging these observations, we evaluate both random search with early-stopping and a novel random search with weight-sharing algorithm on two standard NAS benchmarks---PTB and CIFAR-10. Our results show that random search with early-stopping is a competitive NAS baseline, e.g., it performs at least as well as ENAS, a leading NAS method, on both benchmarks. Additionally, random search with weight-sharing outperforms random search with early-stopping, achieving a state-of-the-art NAS result on PTB and a highly competitive result on CIFAR-10. Finally, we explore the existing reproducibility issues of published NAS results. We note the lack of source material needed to exactly reproduce these results, and further discuss the robustness of published results given the various sources of variability in NAS experimental setups. Relatedly, we provide all information (code, random seeds, documentation) needed to exactly reproduce our results, and report our random search with weight-sharing results for each benchmark on multiple runs.

연구 동기 및 목표

• 표준 벤치마크(PTB 및 CIFAR-10)에서 간단한 베이스라인을 주요 NAS 방법과 비교 평가하여 NAS에 대한 실증적 결과를 바탕으로 한다.
• 유사한 컴퓨팅 예산 내에서 조기 중단과 가중치 공유를 갖춘 랜덤 검색이 최첨단 NAS 성능에 맞서거나 이를 능가할 수 있는지 평가한다.
• NAS 성능에 영향을 미치는 핵심 메타 하이퍼파라미터를 식별하고 간단하고 재현 가능한 방법을 시연한다.
• 결과의 정확한 재현을 가능하게 하도록 모든 코드, 시드 및 문서를 오픈 소스로 제공하고 광범위한 재현성을 연구한다.

제안 방법

• NAS를 특화된 하이퍼파라미터 최적화 문제로 프레이밍하고 간단한 베이스라인을 선도 NAS 접근법과 벤치마크한다.
• CIFAR-10와 PTB에서 NAS를 위한 경쟁력 있는 베이스라인으로 조기 중단(ASHA)을 갖춘 랜덤 검색을 사용한다.
• 아키텍처 간 공유 가중치를 학습하고 여러 샘플링된 아키텍처를 평가하는 가중치 공유를 갖춘 랜덤 검색 알고리즘을 개발한다.
• 검색 품질을 향상시키기 위해 메타 하이퍼파라미터(batch size, epochs, network size, number of evaluated architectures, gradient clipping)를 탐구한다.
• 정확한 재현을 가능하게 하는 고정된 시드와 코드가 포함된 정확한 재현 가능한 실험 설정을 제공하고, 광범위한 재현성을 연구하기 위해 반복 실행도 수행한다.

실험 결과

연구 질문

• RQ1 유사한 계산 예산에서 표준 벤치마크(PTB 및 CIFAR-10)에서 무작위 검색에 기반한 간단한 NAS 베이스라인이 최첨단 NAS 방법과 어떻게 비교되는가?
• RQ2 가중치 공유를 포함한 무작위 검색이 PTB와 CIFAR-10에서 최첨단 또는 경쟁력 있는 결과를 달성할 수 있는가, 그리고 이러한 성능의 구동 요소는 무엇인가?
• RQ3 무작위 검색 기반 NAS 성능에 가장 큰 영향을 미치는 핵심 메타 하이퍼파라미터는 무엇인가?
• RQ4 NAS에서 재현성 문제는 무엇이며, 개방 자료와 다중 실행으로 어떻게 해결할 수 있는가?

주요 결과

• 조기 중단(ASHA)을 갖춘 랜덤 검색은 PTB에서 테스트 perplexity가 56.4에 달하고, ENAS에 비해 비슷하며 일부 다른 베이스라인보다 낫다.
• 가중치 공유를 가진 랜덤 검색은 PTB에서 테스트 perplexity가 55.5에 도달하여 이 벤치마크의 NAS 기반 결과 중 최첨단 perplexity를 달성한다.
• CIFAR-10에서 가중치 공유를 가진 랜덤 검색은 DARTS 및 SNAS와 경쟁적이며 유사한 예산에서 최첨단 결과에 접근하거나 이를 상회한다.
• 본 연구는 시드, 코드 및 문서의 부족으로 인해 발표된 NAS 결과의 재현성 차이를 문서화하고, 정확한 재현을 가능하게 하는 오픈 소스 자료를 제공한다.
• 실험은 광범위한 재현성을 위해 실행 간에 비트리얼한 차이가 있음을 보여주며, 견고한 보고 및 통계의 필요성을 강조한다.