[논문 리뷰] Efficient Progressive Neural Architecture Search

Juan-Manuel Pérez-Rúa, Moez Baccouche외 1명|arXiv (Cornell University)|2018. 08. 01.

Advanced Neural Network Applications인용 수 13

한 줄 요약

이 논문은 순차적 모델 기반 최적화(SMBO)와 가중치 공유를 결합하여 신경망 아키텍처 탐색을 가속화하는 효율적인 점진적 신경망 아키텍처 탐색(EPNAS)을 제안한다. 탐색 과정에서 탐욕적 선택 대신 서rogate 모델에 기반한 확률적 샘플링을 사용함으로써, EPNAS는 NASNet 대비 최대 900배 빠른 속도로 CIFAR-10에서 최신 기술 수준의 성능을 달성하면서도 계산 자원의 일부분만 사용하여 경쟁 가능한 정확도를 유지한다.

ABSTRACT

This paper addresses the difficult problem of finding an optimal neural architecture design for a given image classification task. We propose a method that aggregates two main results of the previous state-of-the-art in neural architecture search. These are, appealing to the strong sampling efficiency of a search scheme based on sequential model-based optimization (SMBO), and increasing training efficiency by sharing weights among sampled architectures. Sequential search has previously demonstrated its capabilities to find state-of-the-art neural architectures for image classification. However, its computational cost remains high, even unreachable under modest computational settings. Affording SMBO with weight-sharing alleviates this problem. On the other hand, progressive search with SMBO is inherently greedy, as it leverages a learned surrogate function to predict the validation error of neural architectures. This prediction is directly used to rank the sampled neural architectures. We propose to attenuate the greediness of the original SMBO method by relaxing the role of the surrogate function so it predicts architecture sampling probability instead. We demonstrate with experiments on the CIFAR-10 dataset that our method, denominated Efficient progressive neural architecture search (EPNAS), leads to increased search efficiency, while retaining competitiveness of found architectures.

연구 동기 및 목표

• 이미지 분류에서 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• 가중치 공유를 프로그레시브 SMBO 기반 탐색에 통합하여 탐색 효율성을 향상시키기 위해.
• 서rogate 예측 기반의 확률적 샘플링으로 결정적 순위 매기기 대체를 통해 SMBO의 탐욕성 감소를 위해.
• 단일 또는 소수의 GPU와 같은 보편적인 하드웨어 환경에서도 효과적인 NAS를 가능하게 하기 위해.
• 가중치 공유가 점진적이고 반복적인 탐색 전략과 호환됨을 입증하기 위해.

제안 방법

• EPNAS는 서rogate 모델이 검증 오차를 예측함에 따라 후보 아키텍처를 반복적으로 개선하는 순차적 모델 기반 최적화(SMBO)를 사용한다.
• 탐색 과정에서 후보 아키텍처 간에 가중치 공유를 도입함으로써 각 아키텍처를 다시 훈련할 필요 없이 훈련 시간을 극적으로 단축시킨다.
• 상위-K 아키텍처를 탐욕적으로 선택하는 대신, EPNAS는 서rogate 모델이 예측한 샘플링 확률을 사용하여 탐색 공간을 확률적이고 다양한 방식으로 탐색한다.
• 여러 번의 탐색 반복을 수행하며, 서rogate 모델을 점진적으로 개선하고 시간이 지남에 따라 아키텍처 품질을 향상시킨다.
• 초기에는 높은 온도 값(탐색)을 사용하고 점차 감소시켜 성능의 변동성을 줄이며, 후행 단계에서는 탐색을 강화한다.
• 탐색 공간은 매크로(네트워크 깊이, 너비) 및 마이크로(셀 아키텍처) 수준에서 정의되며, 공정한 비교를 위해 고정된 초모수를 사용한다.

실험 결과

연구 질문

• RQ1 가중치 공유가 프로그레시브 SMBO 기반 NAS 프레임워크에 효과적으로 통합되어 계산 비용을 줄일 수 있는가?
• RQ2 탐욕적 선택을 서rogate 예측 기반의 확률적 샘플링으로 대체하면 탐색 효율성과 아키텍처 품질이 향상되는가?
• RQ3 탐색 반복 횟수가 발견된 아키텍처의 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 EPNAS는 최신 기술 수준의 방법 대비 훨씬 적은 GPU-일 수치로 CIFAR-10에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 보편적인 하드웨어 구성에서 확장 가능하고 효과적인가?

주요 결과

• EPNAS는 CIFAR-10에서 경쟁 가능한 성능을 달성하였으며, 최고의 매크로 아키텍처는 테스트 오차 3.03%를 기록하여 최신 기술 수준에 근접했다.
• NASNet 대비 약 900배 빠른 속도를 기록하여 탐색 비용을 약 100 GPU-일에서 0.2 GPU-일 이하로 줄였다.
• 단일 반복 대비 3회의 반복을 사용할 경우, 더 긴 모델 훈련 시간에도 불구하고 검증 정확도가 약 8% 향상되었다.
• 반복 횟수가 많아질수록 다수의 병렬 실행 간 성능 변동성이 감소하여 수렴성과 안정성이 향상됨을 보여주었다.
• 최고로 발견된 매크로 아키텍처는 일반화 성능이 뛰어나 NASNet 수준에 근접했으며, 탐색 효율성이 뛰어나 매우 우수했다.
• 가중치 공유를 통해 아키텍처 품질을 손상시키지 않고도 효율적인 탐색이 가능했으며, 점진적 탐색 프레임워크에서의 실현 가능성을 입증했다.