[논문 리뷰] NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search

Arber Zela, Julien Siems외 1명|arXiv (Cornell University)|2020. 01. 28.

Advanced Neural Network Applications참고 문헌 29인용 수 61

한 줄 요약

NAS-Bench-1Shot1을 소개하는 프레임워크로, NAS-Bench-101을 재사용해 원샷 NAS 방법들을 저비용으로 평가하고, 궤적 분석, 하이퍼파라미터 민감도 평가, 블랙박스 옵티마와의 비교를 가능하게 한다.

ABSTRACT

One-shot neural architecture search (NAS) has played a crucial role in making NAS methods computationally feasible in practice. Nevertheless, there is still a lack of understanding on how these weight-sharing algorithms exactly work due to the many factors controlling the dynamics of the process. In order to allow a scientific study of these components, we introduce a general framework for one-shot NAS that can be instantiated to many recently-introduced variants and introduce a general benchmarking framework that draws on the recent large-scale tabular benchmark NAS-Bench-101 for cheap anytime evaluations of one-shot NAS methods. To showcase the framework, we compare several state-of-the-art one-shot NAS methods, examine how sensitive they are to their hyperparameters and how they can be improved by tuning their hyperparameters, and compare their performance to that of blackbox optimizers for NAS-Bench-101.

연구 동기 및 목표

• 최근 변형들을 인스턴스화할 수 있는 원샷 NAS를 위한 일반 벤치마킹 프레임워크를 제공한다.
• NAS-Bench-101 계산을 재사용하여 원샷 NAS 방법을 저비용으로 언제든 평가한다.
• 최첨단 원샷 NAS 방법들을 비교하고 하이퍼파라미터 민감도와 튜닝을 통한 개선 가능성을 평가한다.
• 원-shot NAS 구성요소와 이산 NAS 옵티마이저를 재현하고 공정하게 비교하기 위해 통합 코드베이스를 제공한다.

제안 방법

• NAS-Bench-101 탐색 공간 표현과 원샷 NAS 표현 간의 매핑을 정의하여 원-shot 방법들이 찾은 이산 아키텍처를 질의한다.
• NAS-Bench-1Shot1의 세 가지 탐색 공간(탐색 공간 1–3)을 NAS-Bench-101에서 파생하고, 최대 공간은 363,648개의 아키텍처를 포함한다.
• 하나의 코드베이스에서 DARTS, GDAS, PC-DARTS, ENAS, Random WS 등 원샷 NAS 방법을 구현·평가하기 위한 일반 프레임워크를 제공한다.
• 탐색 에포크에 걸친 아키텍처 가중치를 추적하고 테스트/검증 오차를 NAS-Bench-101에 질의하여 각 아키텍처를 재훈련하지 않고 전체 궤적을 분석한다.
• 원-shot 모델 순위와 NAS-Bench-101 실제 성능 간의 상관관계를 검사한다.
• 하이퍼파라미터에 대한 강건성과 하이퍼파라미터 최적화(BOHB)를 통한 튜닝 가능성을 시연한다.
• 재현성과 공정한 벤치마킹을 촉진하기 위해 오픈 소스 구현을 제공한다.

실험 결과

연구 질문

• RQ1 아직 평가 가능한 프레임워크에서 아키텍처를 NAS-Bench-101 평가와 비교하여 다양한 원샷 NAS 방법의 성능은 얼마나 잘 나타나는가?
• RQ2 탐색 공간 전반에서 원샷 검증 성능과 실제 NAS-Bench-101 테스트 성능 간의 상관관계는 무엇인가?
• RQ3 원샷 NAS 방법은 하이퍼파라미터에 얼마나 민감하며, 튜닝이 이산 NAS 옵티마와 비교해 성능을 향상시킬 수 있는가?
• RQ4 공통 코드베이스에서 confounding 요소 없이 다양한 원샷 NAS 변형들을 충실히 비교할 수 있는 통합 프레임워크가 있는가?
• RQ5 하이퍼파라미터 최적화가 과적합을 줄이고 탐색 공간 전반에서 아키텍처 품질을 향상시킬 수 있는 정도는 어느 정도인가?

주요 결과

• GDAS는 벤치마크 전 기간에 걸쳐 최고의 실시간 성능을 제공하지만 온도 냉각으로 인해 최적이 아닌 해에 조기 수렴할 수 있다.
• DARTS와 PC-DARTS는 원샷 검증 오차가 감소하는 모습을 보이나 이것이 항상 NAS-Bench-101 테스트 오차 감소와 일치하지는 않는다.
• DARTS, PC-DARTS, GDAS, Random WS의 경우 원샷 검증 순위와 NAS-Bench-101 테스트 성능 간 상관관계가 거의 없거나 전혀 없으며, ENAS는 특정 공간에서 약간의 상관관계를 보인다.
• BOHB를 통한 하이퍼파라미터 튜닝은 결과를 크게 개선하며, 최적 구성이 기본 설정을 능가하고 때로는 이산 NAS 옵티마보다 우수하다.
• 튜닝은 탐색 시간을 줄이고(예: DARTS 튜닝 예시 45 GPU일에서 16개의 GPU에서 1일로 축소) 다양한 탐색 공간에서 강건한 구성을 보여준다.
• Random WS와 ENAS는 일반적으로 원샷 스케일링과 실제 아키텍처 성능 간 상관관계가 약해 일반적으로 성능이 떨어진다.
• 이 프레임워크는 효율적이고 공정한 비교 및 재현을 가능하게 하며, 원샷 NAS에서 하이퍼파라미터 기반 개선의 가능성을 강조한다.