[논문 리뷰] Local Search is State of the Art for Neural Architecture Search Benchmarks

Colin White, Sam Nolen외 1명|arXiv (Cornell University)|2020. 05. 06.

Machine Learning and Algorithms참고 문헌 50인용 수 13

한 줄 요약

이 논문은 단순한 국소 탐색 알고리즘들이 NASBench-101과 NASBench-201에서 최신 기술 수준의 성능을 달성함을 보여주며, 그들의 단순성에도 불구하고 고도로 발전된 신경망 아키텍처 탐색 방법들을 능가한다. 저자들은 국소 탐색이 그래프 기반 최적화 문제에서 효과적인 이유를 이론적으로 분석하고 시뮬레이션을 통해 검증하였으며, 코드와 결과는 모두 공개되어 있다.

ABSTRACT

Local search is one of the simplest families of algorithms in combinatorial optimization, yet it yields strong approximation guarantees for canonical NP-Complete problems such as the traveling salesman problem and vertex cover. While it is a ubiquitous algorithm in theoretical computer science, local search is often neglected in hyperparameter optimization and neural architecture search. We show that the simplest local search instantiations achieve state-of-the-art results on multiple NAS benchmarks (NASBench-101 and NASBench-201), outperforming the most popular recent NAS algorithms. However, local search fails to perform well on the much larger DARTS search space. Motivated by these observations, we present a theoretical study which characterizes the performance of local search on graph optimization problems, backed by simulation results. This may be of independent interest beyond NAS. All code and materials needed to reproduce our results are publicly available at this https URL.

연구 동기 및 목표

• 간단한 국소 탐색 알고리즘이 신경망 아키텍처 탐색(NAS)에서 최신 기술 수준의 성능을 달성할 수 있는지 조사하기 위해.
• 더 큰 탐색 공간, 예를 들어 DARTS와 같은 경우에서 국소 탐색의 한계를 이해하기 위해.
• NAS와 관련된 그래프 최적화 문제에서 국소 탐색 성능에 대한 이론적 특성화를 제공하기 위해.
• 복잡한 NAS 알고리즘에 대한 실용적이고 경량의 대안을 제공하여 표준 벤치마크에서 뛰어난 성능을 발휘하기 위해.

제안 방법

• 각 아키텍처가 후보 해로 간주되는 신경망 아키텍처 탐색에 기본적인 국소 탐색 휴리스틱을 적용하며, 국소 이동은 작은 수정(예: 레이어나 연산 변경)을 포함한다.
• NASBench-101과 NASBench-201 벤치마크에서 국소 탐색 알고리즘을 평가하며, 이는 탐색 공간 내 모든 아키텍처에 대한 정확도 평가를 완전히 제공한다.
• 그래프 기반 최적화 문제에서 국소 탐색 성능를 특성화하기 위한 이론적 분석을 수행한다. 특히 근사 보장 측면에서 분석한다.
• 이론적 통찰을 검증하고 국소 탐색의 행동을 다양한 문제 구조에서 탐색하기 위해 시뮬레이션을 실시한다.
• 동일한 벤치마크에서 최신 기술 수준의 NAS 방법과의 성능 비교를 통해 국소 탐색의 슈퍼리오리티를 입증한다.
• 모든 코드와 실험 자료를 공개하여 재현 가능성을 확보하고 향후 연구를 촉진한다.

실험 결과

연구 질문

• RQ1 NASBench-101과 NASBench-201와 같은 표준 NAS 벤치마크에서 단순한 국소 탐색 알고리즘이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 국소 탐색이 작은 벤치마크에서는 성공했지만, 더 큰 DARTS 탐색 공간에서는 성능이 떨어지는 이유는 무엇인가?
• RQ3 그래프 기반 최적화 문제에서 국소 탐색이 효과적인 이유가 되는 이론적 성질은 무엇인가?
• RQ4 탐색 공간의 구조적 특성이 NAS에서 국소 탐색의 효율성에 어떤 영향을 미치는가?
• RQ5 실제로 복잡한 NAS 알고리즘에 대한 경량 대안으로 국소 탐색이 실현 가능할 수 있는가?

주요 결과

• 국소 탐색은 NASBench-101과 NASBench-201에서 최신 기술 수준의 성능을 달성하며, 최근에 개발된 더 복잡한 NAS 방법들을 능가한다.
• 국소 탐색의 성공은 탐색 공간의 구조 덕분이며, 국소 이동이 성능 향상에 상당한 기여를 한다.
• 국소 탐색은 DARTS 탐색 공간에서 실패하는데, 이는 그 크기와 복잡도가 높아 국소 변형의 효과가 제한되기 때문이다.
• 이론적 분석을 통해 국소 탐색은 유리한 局소 최적해 구조를 가진 그래프 최적화 문제에서 잘 작동하는 것으로 밝혀졌다.
• 시뮬레이션 결과 국소 탐색의 효율성은 탐색 공간의 조밀도와 연결성에 따라 달라지며, 희박하고 더 구조적인 공간에서 더 뛰어난 성능을 보였다.
• 결과적으로 탐색 공간에 이용 가능한 국소 구조가 존재할 경우, 단순한 알고리즘이 NAS에서 매우 효과적일 수 있음을 입증했다.