[논문 리뷰] NAS-Bench-101: Towards Reproducible Neural Architecture Search

Chris Ying, Aaron Klein외 4명|arXiv (Cornell University)|2019. 02. 25.

Machine Learning in Materials Science인용 수 253

한 줄 요약

NAS-Bench-101은 CIFAR-10에서 훈련 및 평가 지표에 매핑되는 423k 개의 고유 CNN 아키텍처를 공개적이고 포괄적으로 제공하는 데이터셋으로, 재학습 없이도 빠르고 재현 가능한 NAS 벤치마킹을 가능하게 한다.

ABSTRACT

Recent advances in neural architecture search (NAS) demand tremendous computational resources, which makes it difficult to reproduce experiments and imposes a barrier-to-entry to researchers without access to large-scale computation. We aim to ameliorate these problems by introducing NAS-Bench-101, the first public architecture dataset for NAS research. To build NAS-Bench-101, we carefully constructed a compact, yet expressive, search space, exploiting graph isomorphisms to identify 423k unique convolutional architectures. We trained and evaluated all of these architectures multiple times on CIFAR-10 and compiled the results into a large dataset of over 5 million trained models. This allows researchers to evaluate the quality of a diverse range of models in milliseconds by querying the pre-computed dataset. We demonstrate its utility by analyzing the dataset as a whole and by benchmarking a range of architecture optimization algorithms.

연구 동기 및 목표

• 공개적으로 이용 가능하고 포괄적인 NAS 데이터셋을 제공하여 재현 가능한 연구를 가능하게 한다.
• 압축된 표현력 있는 검색 공간을 정의하고 아키텍처를 포괄적으로 평가한다.
• 공정한 비교를 보장하는 표준화된 훈련/평가 파이프라인을 제공한다.
• 검색 공간 속성 및 알고리즘 벤치마킹 분석을 통해 데이터셋의 유용성을 입증한다.

제안 방법

• 3x3 컨브, 1x1 컨브, 3x3 맥스풀의 3개 연산 레이블을 가진 7-노드 셀 그래프 공간을 정의하고 V ≤ 7 및 최대 9개의 엣지 제약을 둔다.
• 그래프 동형성 감소 및 고정 셀 인코딩으로 ~423k개의 고유 그래프를 열거한다.
• 고정 결합 의미를 갖는 CNN 셀로 그래프를 변환한다(출력에서 연결은 연결(concatenate), 그 외에는 합산).
• 모든 아키텍처를 CIFAR-10에서 단일 공개 훈련 파이프라인과 고정 하이퍼파라미터(코사인 학습률 감소, RMSProp, L2 정규화)로 훈련한다.
• 아키텍처당 네 번의 에폭 예산(4, 12, 36, 108)에서 세 차례의 훈련을 반복하여 분산을 측정하고 다중 대체 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전면적으로 평가된 NAS 탐색 공간을 사용하여 아키텍처 설계 선택 및 탐색 공간 속성을 분석할 수 있는가?
• RQ2 고정된 공개 데이터셋에서 벤치마킹될 때 서로 다른 NAS 최적화 알고리즘의 성능은 어떠한가?
• RQ3 NAS-Bench-101에서 아키텍처 연산과 셀 깊이/너비가 정확도 및 훈련 비용에 미치는 영향은 무엇인가?
• RQ4 탐색 공간의 지역성 속성이 NAS 알고리즘의 성능에 어느 정도 영향을 미치는가?

주요 결과

• 데이터셋은 423k개의 고유 아키텍처를 훈련/검증/테스트 지표에 매핑하여 재학습 없이도 빠른 조회를 가능하게 한다.
• 최고 아키텍처는 CIFAR-10에서 평균 테스트 정확도 94.32%를 달성하며, ResNet-유사 셀과 Inception-유사 셀은 각각 93.12% 및 92.95%에 도달한다.
• 대부분의 아키텍처는 높은 훈련 정확도에 도달하고 검증/테스트와의 불일치가 작다(108 에폭에서 검증 및 테스트 정확도 간의 상관이 높게 나타난다, r=0.999).
• 손으로 설계된 셀은 정확도와 훈련 비용의 파레토 프런티어에 가까워 토폴로지와 연산 선택이 높은 성능과 효율성을 위해 중요함을 시사한다.
• 탐색 공간의 지역성은 강하며, 상위 그래프에서 작게 편집 거리에 있는 경우에 의미 있는 성능 변화가 집중된다; 공간의 약 35.4%가 상위 그래프에서 거리 6 이내에 위치한다.