[논문 리뷰] How Powerful are Performance Predictors in Neural Architecture Search?

Colin White, Arber Zela외 3명|arXiv (Cornell University)|2021. 04. 02.

Machine Learning and Data Classification참고 문헌 70인용 수 17

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)에서 31개의 성능 예측자에 대한 최초의 대규모 비교 연구를 제시한다. 다양한 검색 공간과 여러 데이터셋에서 모델 기반, 학습 곡선 외삽, 제로비용, 가중치 공유 방법을 평가한다. 연구 결과, 서로 다른 가족에 属하는 예측자들이 상호 보완적이며, 이를 조합하면 예측 성능이 크게 향상됨을 확인하였다. 이는 계산 자원 제약이 다양한 상황에서 NAS에 실용적인 권고를 제공한다.

ABSTRACT

Early methods in the rapidly developing field of neural architecture search (NAS) required fully training thousands of neural networks. To reduce this extreme computational cost, dozens of techniques have since been proposed to predict the final performance of neural architectures. Despite the success of such performance prediction methods, it is not well-understood how different families of techniques compare to one another, due to the lack of an agreed-upon evaluation metric and optimization for different constraints on the initialization time and query time. In this work, we give the first large-scale study of performance predictors by analyzing 31 techniques ranging from learning curve extrapolation, to weight-sharing, to supervised learning, to "zero-cost" proxies. We test a number of correlation- and rank-based performance measures in a variety of settings, as well as the ability of each technique to speed up predictor-based NAS frameworks. Our results act as recommendations for the best predictors to use in different settings, and we show that certain families of predictors can be combined to achieve even better predictive power, opening up promising research directions. Our code, featuring a library of 31 performance predictors, is available at https://github.com/automl/naslib.

연구 동기 및 목표

• 다양한 초기화 및 쿼리 시간 제약 조건 하에서 NAS에서 다양한 성능 예측자 가족의 성능를 비교하기 위해.
• NAS-Bench-201, NAS-Bench-101, DARTS, NAS-Bench-NLP를 포함한 여러 검색 공간과 데이터셋에서 예측자의 일관성과 신뢰성을 평가하기 위해.
• 각 예측자가 베이지안 최적화 및 진화 전략과 같은 예측 기반 NAS 프레임워크에서 얼마나 효과적으로 가속화되는지 평가하기 위해.
• 서로 다른 가정에서 온 예측자를 조합하면 개별 방법보다 훨씬 뛰어난 예측 성능를 달성할 수 있는지 확인하기 위해.
• 향후 NAS의 성능 예측 연구를 위한 재현 가능하고 공개된 벤치마크와 라이브러리를 제공하기 위해.

제안 방법

• 연구는 CIFAR-10, CIFAR-100, ImageNet16-120, Penn TreeBank를 사용하여 네 가지 검색 공간(NAS-Bench-201, NAS-Bench-101, DARTS, NAS-Bench-NLP)에서 31개의 성능 예측자를 평가한다.
• 랜덤 및 변형 기반 아키텍처 세트에서 피어슨, 스피어만, 켄달 타우, 희소 켄달 타우 상관계수 지표를 사용해 성능을 측정한다.
• 정확한 비교를 위해 초모수 튜닝 및 원본 구현 재사용을 포함한 표준화된 실험 프rotocol를 사용한다.
• 초기화 및 쿼리 시간 예산을 다양하게 설정하여 설정 비용과 추론 속도 사이의 트레이드오프를 평가한다.
• 베이지안 최적화 및 예측자 유도 진화 워크플로우에 예측자를 통합하여 실제 가속화 잠재력을 테스트한다.
• 31개 예측자의 포괄적인 오픈소스 라이브러리를 NASLib를 통해 공개하여 재현 가능성과 향후 벤치마크를 지원한다.

실험 결과

연구 질문

• RQ1 제로비용, 모델 기반, 학습 곡선 외삽, 가중치 공유 예측자들이 다양한 계산 제약 조건 하에서 예측 정확도 측면에서 어떻게 비교되는가?
• RQ2 어떤 성능 예측자가 다양한 검색 공간과 데이터셋에서 일관된 성능를 보이는가?
• RQ3 서로 다른 가정에서 온 예측자를 조합하면 개별 방법보다 유의미하게 향상된 예측 능력을 달성할 수 있는가?
• RQ4 이 예측자들은 베이지안 최적화 및 진화 전략과 같은 실제 NAS 프레임워크에서 얼마나 효과적으로 가속화되는가?
• RQ5 표준화된 평가 조건 하에서 성능 예측자의 발표 결과가 어느 정도 재현 가능한가?

주요 결과

• 연구는 제로비용, 모델 기반, 학습 곡선 외삽 방법 등 서로 다른 가정에 속하는 예측자들이 상호 보완적인 강점을 보이며, 이를 조합하면 단일 방법보다 훨씬 높은 예측 성능를 달성할 수 있음을 입증한다.
• 특히 기울기와 활성화 통계 기반의 제로비용 프록시(예: SNIP, Grad Norm, Fisher)는 매우 짧은 쿼리 시간으로 뛰어난 성능를 보이며, 저지연 환경에 이상적이다.
• MLP 및 LGBoost와 같은 모델 기반 예측자들은 충분한 초기화 시간이 확보된 경우 높은 순위 상관계수(Spearman >0.7)를 달성하여 효과적이다.
• 학습 곡선 외삽 방법(LcSVR, SoTL 등)은 중간 수준의 훈련 시간이 주어지면 높은 상관계수(Spearman >0.93)를 기록하며, 낮은 초기화 비용으로도 강력한 예측 능력을 보인다.
• 31개 예측자 중 15개의 발표 결과를 재현하였으며, 순위 상관계수의 차이가 0.04 이내로 매우 작아 벤치마크의 재현 가능성을 검증하였다.
• 다양한 가정에서 상위 성능를 보인 예측자를 조합하면 예측 성능가 상당한 향상이 이루어지며, 이는 향후 NAS 프레임워크의 유망한 연구 방향으로 제시된다.