[논문 리뷰] Revisiting the Train Loss: an Efficient Performance Estimator for Neural Architecture Search

Binxin Ru, Clare Lyle외 3명|arXiv (Cornell University)|2021. 05. 04.

Machine Learning and Data Classification참고 문헌 50인용 수 11

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)을 위한 단순하고 효율적이며 모델에 종속되지 않는 추정기 방법을 제안한다. 이 방법은 학습 손실의 합을 사용하여 최종 테스트 성능을 예측한다. 마진형 우도와 확률적 경사 하강법의 통찰을 활용하여, 단지 50 에포크 만에 NAS-Bench201에서 테스트 정확도와 0.95의 순위 상관관계를 달성하며, 하이퍼파rameter 튜닝이나 서rogate 학습 없이도 기존의 베이스라인을 능가한다.

ABSTRACT

Reliable yet efficient evaluation of generalisation performance of a proposed architecture is crucial to the success of neural architecture search (NAS). Traditional approaches face a variety of limitations: training each architecture to completion is prohibitively expensive, early stopping estimates may correlate poorly with fully trained performance, and model-based estimators require large training sets. Instead, motivated by recent results linking training speed and generalisation with stochastic gradient descent, we propose to estimate the final test performance based on the sum of training losses. Our estimator is inspired by the marginal likelihood, which is used for Bayesian model selection. Our model-free estimator is simple, efficient, and cheap to implement, and does not require hyperparameter-tuning or surrogate training before deployment. We demonstrate empirically that our estimator consistently outperforms other baselines under various settings and can achieve a rank correlation of 0.95 with final test accuracy on the NAS-Bench201 dataset within 50 epochs.

연구 동기 및 목표

• 신경망 아키텍처 탐색(NAS)에서 각 아키텍처를 수렴할 때까지 학습시키는 데 드는 높은 계산 비용을 해결하기 위해.
• 최종 일반화 성능와의 상관관계가 낮은 조기 정지 추정 방식을 극복하기 위해.
• 하이퍼파rameter 튜닝이나 서rogate 학습 없이도 모델에 종속되지 않고 효율적인 추정기를 개발하기 위해.
• 학습 손실의 동역학을 활용하여 아키텍처 평가의 신뢰성과 속도를 향상시키기 위해.

제안 방법

• 이 방법은 에포크 동안의 학습 손실의 합을 일반화 성능의 대체 지표로 사용한다.
• 베이지안 모델 선택에서의 마진형 우도에 영감을 받아, 학습 손실과 모델 품질 간의 연결 고리를 설정한다.
• 이 추정기는 모델에 종속되지 않으며, 별도의 서rogate 모델 학습이나 하이퍼파rameter 튜닝이 필요하지 않다.
• 각 아키텍처의 학습 경로에 직접 작용하여 경량화되고 확장 가능하게 만든다.
• 확률적 경사 하강법 하에서 학습 속도와 일반화 간의 경험적 연관성을 활용한다.
• 완전한 학습 없이도 손실 값의 집계를 통해 조기 성능 추정이 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 손실의 합이 신경망 아키텍처 탐색에서 최종 테스트 정확도의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 이 손실 기반 추정기는 최종 성능과의 상관관계에서 조기 정지 및 모델 기반 서rogate 방법보다 어떻게 비교되는가?
• RQ3 이 추정기는 얼마나 적은 학습 시간, 예를 들어 50 에포크 내에서 높은 정확도를 달성할 수 있는가?
• RQ4 이 방법은 NAS-Bench201와 같은 다양한 검색 공간과 데이터셋으로 일반화되는가?
• RQ5 이 추정기는 하이퍼파rameter 튜닝이나 사전 서rogate 학습 없이도 구현 가능할 수 있는가?

주요 결과

• 제안된 추정기는 단지 50 에포크 내로 NAS-Bench201 데이터셋에서 최종 테스트 정확도와 0.95의 순위 상관관계를 달성한다.
• 다양한 검색 설정에서 조기 정지 및 모델 기반 추정기와 비교해 일관되게 뛰어난 성능을 보인다.
• 이 방법은 계산적으로 효율적이며, 하이퍼파rameter 튜닝이나 서rogate 모델 학습이 필요하지 않다.
• 작은 에포크 수로도 학습된 경우에도 추정기가 강건하고 효과적이며, 강력한 조기 예측 능력을 보여준다.
• 이 방법은 모델에 종속되지 않으며, 아키텍처나 학습 방식의 수정 없이 기존의 NAS 파이프라인에 쉽게 통합할 수 있다.
• 결과는 누적 학습 손실과 최종 일반화 성능 간에 강력한 경험적 연관성이 있음을 확인한다.