[논문 리뷰] Speedy Performance Estimation for Neural Architecture Search

Binxin Ru, Clare Lyle외 4명|arXiv (Cornell University)|2020. 06. 08.

Advanced Neural Network Applications참고 문헌 45인용 수 13

한 줄 요약

이 논문은 신경망 아키텍처의 일반화 성능을 예측하기 위해 초기 SGD 스텝 동안의 훈련 손실 합계를 측정함으로써 모델에 의존하지 않고 계산 비용이 적은 방법인 훈련 속도 예측(TSE)을 제안한다. TSE는 기존 방법들보다 순위 정확도에서 뛰어나며, 쿼리 기반 및 원샷 NAS 설정 모두에서 검색 효율성과 정확도를 향상시킨다.

ABSTRACT

Reliable yet efficient evaluation of generalisation performance of a proposed architecture is crucial to the success of neural architecture search (NAS). Traditional approaches face a variety of limitations: training each architecture to completion is prohibitively expensive, early stopped validation accuracy may correlate poorly with fully trained performance, and model-based estimators require large training sets. We instead propose to estimate the final test performance based on a simple measure of training speed. Our estimator is theoretically motivated by the connection between generalisation and training speed, and is also inspired by the reformulation of a PAC-Bayes bound under the Bayesian setting. Our model-free estimator is simple, efficient, and cheap to implement, and does not require hyperparameter-tuning or surrogate training before deployment. We demonstrate on various NAS search spaces that our estimator consistently outperforms other alternatives in achieving better correlation with the true test performance rankings. We further show that our estimator can be easily incorporated into both query-based and one-shot NAS methods to improve the speed or quality of the search.

연구 동기 및 목표

• NAS에서 신경망 아키텍처 성능 평가의 높은 계산 비용 문제를 해결하기 위해 전체 훈련을 대체할 수 있는 빠르고 신뢰할 수 있는 대체 지표를 제공하기 위해.
• 일반화 성능와 관련이 잘 맞지 않는 경우가 많은 초기 정지, 서rogate 모델, 가중치 공유 방법의 한계를 극복하기 위해.
• 간단하며 하이퍼파라미터 튜닝이나 서rogate 모델 훈련이 필요 없고, 다양한 NAS 파라다임과 호환되는 방법을 개발하기 위해.
• 훈련 속도와 일반화 성능 사이의 이론적으로 탄탄한 연결 고리를 제공하면서도 실용적인 예측기 수립을 위해.

제안 방법

• TSE는 첫 번째 몇 번의 SGD 스텝 동안의 훈련 손실 합계를 측정하여 훈련 속도의 대체 지표로 사용함으로써 최종 테스트 성능을 추정한다.
• 이 방법은 훈련 속도와 일반화 간의 이론적 연결 고리, 특히 PAC-Bayes 경계와 베이지안 학습에서의 기울기 분산과 관련된 이론적 근거에서 영감을 받았다.
• TSE는 모델에 의존하지 않으며, 별도의 서rogate 모델 훈련이나 배포 전 하이퍼파라미터 튜닝이 필요하지 않다.
• 다양한 NAS 파이프라인에 통합하기 위해, 기저 학습 손실 기울기 대신 TSE 기울기 업데이트를 사용하여 기저 학습 손실 기울기를 대체한다 (예: DARTS, DrNAS).
• DARTS-TSE와 DrNAS-TSE에서는 K=100개의 미니배치에 대해 TSE 예측기의 도함수를 계산하여 아키텍처 파라미터를 업데이트함으로써 업데이트 빈도를 줄이면서도 성능를 유지한다.
• 여러 배치를 통해 손실 기울기의 평균을 취함으로써 초기 훈련 동역학에 대한 과적합을 방지하고 안정적인 추정치를 확보한다.

실험 결과

연구 질문

• RQ1 초기 단계에서의 누적 훈련 손실로 측정한 훈련 속도가 NAS에서 최종 일반화 성능의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 TSE는 초기 정지, 서rogate 모델, 제로비용 예측기와 같은 기존 성능 예측 방법들에 비해 순위 상관관계 측면에서 어떻게 비교되는가?
• RQ3 TSE는 쿼리 기반 및 원샷 NAS 프레임워크에 효과적으로 통합되어 검색 속도나 아키텍처 품질을 향상시킬 수 있는가?
• RQ4 TSE는 작업별 특화 튜닝 없이 다양한 검색 공간과 데이터셋에서 강력한 성능을 유지하는가?

주요 결과

• TSE는 모든 평가된 데이터셋과 검색 공간에서 초기 정지, SoVL, Tlmini보다 최종 테스트 성능 순위와 훨씬 더 높은 켄달의 타우 상관관계를 확보한다.
• CIFAR-10 데이터셋에서 TSE는 200 에포크 시점에 켄달의 타우 0.70 (±0.03)을 기록하여 SoVL(0.54)과 Tlmini(0.62)를 모두 능가한다.
• 원샷 NAS에서 TSE는 DARTS와 DrNAS의 검증 손실을 TSE 기울기 업데이트로 대체함으로써 최종 정확도를 향상시켰으며, 200 에포크에서 CIFAR-10에서 93.55%의 테스트 정확도를 달성했다.
• 제한된 훈련 스텝에서도 TSE는 강력한 성능을 유지하며, CIFAR-10에서 300 에포크 시점에 상관관계 0.71을 기록하여 모든 베이스라인을 능가한다.
• TSE는 다양한 데이터셋(CIFAR-10, CIFAR-100, ImageNet-1k)과 검색 공간(NAS-Bench-101, NAS-Bench-201)에서 안정적으로 성능을 유지하며, 다른 방법들보다 아키텍처를 더 정확하게 순위 매긴다.
• TSE는 전체 훈련이 필요한 경우를 줄임으로써 쿼리 기반 NAS에서 더 빠른 검색을 가능하게 하며, 최종 아키텍처 품질을 유지하거나 향상시킨다.