[논문 리뷰] NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search

Xuanyi Dong, Yi Yang|arXiv (Cornell University)|2020. 01. 02.

Advanced Neural Network Applications참고 문헌 35인용 수 83

한 줄 요약

요약: 이 논문은 CIFAR-10, CIFAR-100, 및 ImageNet-16-120에 걸쳐 15,625개의 아키텍처를 평가하고 NAS 알고리즘의 공정한 비교를 가능하게 하는 고정 셀 기반 검색 공간 벤치마크인 NAS-Bench-201을 소개한다.

ABSTRACT

Neural architecture search (NAS) has achieved breakthrough success in a great number of applications in the past few years. It could be time to take a step back and analyze the good and bad aspects in the field of NAS. A variety of algorithms search architectures under different search space. These searched architectures are trained using different setups, e.g., hyper-parameters, data augmentation, regularization. This raises a comparability problem when comparing the performance of various NAS algorithms. NAS-Bench-101 has shown success to alleviate this problem. In this work, we propose an extension to NAS-Bench-101: NAS-Bench-201 with a different search space, results on multiple datasets, and more diagnostic information. NAS-Bench-201 has a fixed search space and provides a unified benchmark for almost any up-to-date NAS algorithms. The design of our search space is inspired from the one used in the most popular cell-based searching algorithms, where a cell is represented as a DAG. Each edge here is associated with an operation selected from a predefined operation set. For it to be applicable for all NAS algorithms, the search space defined in NAS-Bench-201 includes all possible architectures generated by 4 nodes and 5 associated operation options, which results in 15,625 candidates in total. The training log and the performance for each architecture candidate are provided for three datasets. This allows researchers to avoid unnecessary repetitive training for selected candidate and focus solely on the search algorithm itself. The training time saved for every candidate also largely improves the efficiency of many methods. We provide additional diagnostic information such as fine-grained loss and accuracy, which can give inspirations to new designs of NAS algorithms. In further support, we have analyzed it from many aspects and benchmarked 10 recent NAS algorithms.

연구 동기 및 목표

• 공정한 NAS 알고리즘 비교를 가능하게 하는 고정된 알고리즘에 구애받지 않는 검색 공간 제공.
• 전이 가능성을 평가하기 위해 여러 데이터셋에 걸친 아키텍처 성능 데이터를 제공.
• NAS 설계를 안내하기 위한 손실/정확도 궤적, 매개변수, FLOPs, 지연 시간 등 풍부한 진단 정보를 제공.
• 현대 NAS 방법들 범위를 평가하여 벤치마크의 유용성을 시연한다.
• NAS 연구에서 재현성 및 더 빠른 알고리즘 개발을 장려한다.

제안 방법

• 인기 있는 셀 기반 NAS 접근법에서 영감을 얻은 고정 셀 검색 공간을 정의하며, 간선당 5개의 연산 후보를 가진 4-노드 DAG로 구성되어 총 15,625개의 셀 후보를 갖는다.
• 통합 학습 프로토콜 하에 세 가지 데이터셋(CIFAR-10, CIFAR-100, ImageNet-16-120)에서 모든 아키텍처 후보를 학습하고 평가한다.
• 전체 학습 로그, 최종 및 중간 성능 지표(손실/정확도), 그리고 아키텍처 진단(매개변수, FLOPs, 지연 시간)을 제공한다.
• 10개의 NAS 알고리즘(랜덤 탐색, 진화 방법, RL, 미분 가능 방법, HPO)을 벤치마킹하여 기준선과 통찰을 제시한다.
• 학습 전략(BN 동작, 하이퍼파라미터)이 탐색 결과 및 순위 안정성에 미치는 영향을 강조한다.

실험 결과

연구 질문

• RQ1 고정되고 포괄적인 셀 기반 검색 공간이 다양한 NAS 알고리즘 간의 공정하고 재현 가능한 비교를 가능하게 할 수 있는가?
• RQ2 NAS-Bench-201의 아키텍처가 여러 데이터셋에서 어떻게 성능을 발휘하며 데이터셋 간 순위의 전이 가능성은 어느 정도인가?
• RQ3 최종 정확도 이외에 어떤 진단 정보가 더 나은 NAS 알고리즘 설계에 도움이 되는가?
• RQ4 미리 계산된 아키텍처 성능에 직접 접근할 수 있을 때 서로 다른 NAS 알고리즘은 탐색 효율성 면에서 어떻게 수행하는가?
• RQ5 데이터셋 및 학습 설정에 걸친 NAS 연구 결과의 일반화에 영향을 미치는 요인은 무엇인가?

주요 결과

• NAS-Bench-201은 사전 계산된 아키텍처 성능을 반환함으로써 빠른 평가를 가능하게 하는 고정된 알고리즘에 구애받지 않는 벤치마크를 제공한다.
• 아키텍처의 성능은 매개변수 수만으로 좌우되지 않으며, 연결 토폴로지와 연산 선택이 성능에 큰 영향을 미친다.
• 아키텍처 순위는 CIFAR-10, CIFAR-100, ImageNet-16-120 간에 일반적으로 일관되며 데이터셋 특이성 분산이 있다.
• 적응 없이 데이터셋 간 상위 아키텍처의 이전은 최상의 성능을 보장하지 않으므로 전이 가능한 NAS 방법의 필요성을 강조한다.
• 매개변수 공유 없이 특정 NAS 방법(REA, RS, REINFORCE, BOHB)이 벤치마크의 학습 체제에서 다른 방법보다 우수할 수 있다.
• BN 처리(Batch 통계 vs 실행 추정치)가 매개변수 공유를 사용하는 NAS 방법에 크게 영향을 미친다.