[논문 리뷰] NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies

Arjun Krishnakumar, Colin White외 4명|arXiv (Cornell University)|2022. 10. 06.

Software Engineering Research인용 수 12

한 줄 요약

이 논문은 28개의 신경망 아키텍처 탐색 작업에서 13개의 제로코스트(ZC) 프록시에 대해 사전 계산된 점수를 포함하는 통합 벤치마크인 NAS-Bench-Suite-Zero를 소개한다. 이는 평가 속도를 수개의 주기로 빠르게 개선하고, 정보 이론적 분석을 통해 ZC 프록시 간의 상호보완적 정보를 드러내며, 모든 13개의 프록시를 조합함으로써 신경망 아키텍처 탐색(NAS) 알고리즘에서 예측 성능을 최대 42% 향상시킨다.

ABSTRACT

Zero-cost proxies (ZC proxies) are a recent architecture performance prediction technique aiming to significantly speed up algorithms for neural architecture search (NAS). Recent work has shown that these techniques show great promise, but certain aspects, such as evaluating and exploiting their complementary strengths, are under-studied. In this work, we create NAS-Bench-Suite: we evaluate 13 ZC proxies across 28 tasks, creating by far the largest dataset (and unified codebase) for ZC proxies, enabling orders-of-magnitude faster experiments on ZC proxies, while avoiding confounding factors stemming from different implementations. To demonstrate the usefulness of NAS-Bench-Suite, we run a large-scale analysis of ZC proxies, including a bias analysis, and the first information-theoretic analysis which concludes that ZC proxies capture substantial complementary information. Motivated by these findings, we present a procedure to improve the performance of ZC proxies by reducing biases such as cell size, and we also show that incorporating all 13 ZC proxies into the surrogate models used by NAS algorithms can improve their predictive performance by up to 42%. Our code and datasets are available at https://github.com/automl/naslib/tree/zerocost.

연구 동기 및 목표

• 사전 계산된 점수를 포함한 통합적이고 확장 가능한 벤치마크를 제공함으로써 제로코스트 프록시(ZC 프록시) 연구를 가속화하기 위해.
• 다양한 NAS 벤치마크에서 13개의 ZC 프록시의 일반화 능력, 편향, 상호보완적 정보를 평가하기 위해.
• ZC 프록시를 효과적으로 조합하여 신경망 아키텍처 탐색(NAS)에서 사다리모형 성능을 향상시키는 방법을 탐구하기 위해.
• ZC 프록시의 편향을 체계적으로 줄이는 방법을 개발하고 검증하여 예측 정확도를 향상시키기 위해.
• 여러 ZC 프록시를 NAS 알고리즘에 통합함으로써 실질적인 영향을 미치는지, 예측 성능 향상 여부를 입증하기 위해.

제안 방법

• 저자들은 NASLib 기반의 통합 코드베이스를 사용하여 28개 작업 전역에서 13개의 ZC 프록시를 구현하고 사전 계산함으로써 일관된 평가를 확보하고, 구현 방식에 기인한 혼란 요소를 제거함.
• 편향 분석 및 ZC 프록시 간 상호정보량의 정보 이론적 분석을 포함한 대규모 실험적 분석을 수행함.
• 아키텍처적 요소인 셀 크기 및 컨볼루션 연산 수 등을 중심으로 ZC 프록시의 편향을 줄이는 절차를 제안함.
• ZC 프록시 점수를 아키텍처 인코딩과 결합하여 XGBoost 사다리모형의 특징으로 사용함.
• 모델 훈련을 위한 최적의 ZC 프록시 조합을 결정하기 위해 탐욕적 특징 선택 방법을 사용함.
• 주요 평가 지표로 슔피어만 순위 상관관계를 사용하여, 두 가지 예측 기반 NAS 알고리즘인 BANANAS와 NPENAS에서 접근법의 유효성을 검증함.

실험 결과

연구 질문

• RQ1 ZC 프록시는 다양한 NAS 벤치마크에서 어떻게 일반화되며, 성능에 영향을 미치는 편향은 무엇인가?
• RQ2 다른 ZC 프록시들이 아키텍처 성능 예측에서 얼마나 많은 상호보완적 정보를 포착하는가?
• RQ3 여러 ZC 프록시를 조합함으로써 NAS에서 사다리모형의 예측 성능을 크게 향상시킬 수 있는가?
• RQ4 예를 들어 더 큰 아키텍처를 선호하는 등의 ZC 프록시의 편향은 어떻게 체계적으로 줄일 수 있는가?
• RQ5 최대 예측 성능 향상을 위해 사다리모형에 포함시킬 최적의 ZC 프록시 수는 얼마인가?

주요 결과

• 정보 이론적 분석을 통해 ZC 프록시가 상당한 상호보완적 정보를 포착하고 있음을 확인하였으며, 다수의 프록시를 조건부로 설정할 경우 검증 정확도 예측에 높은 정보량 증가가 발생함.
• 편향 분석을 통해 ZC 프록시가 파rameter 수나 컨볼루션 연산 수가 많은 아키텍처를 선호하는 경향이 있음을 밝혀내었으며, 이는 정규화 및 아키텍처 특징 조정을 통해 완화 가능함.
• 모든 13개의 ZC 프록시를 사다리모형에 통합함으로써 아키텍처 인코딩만을 사용할 경우 대비 슈피어만 순위 상관관계가 최대 42% 향상됨.
• 제거 실험 결과, 6~8개의 ZC 프록시를 포함한 후 성능이 정점에 도달함을 확인하여, 이 이상의 프록시를 추가해도 성능 향상 기대치가 감소함.
• BANANAS와 NPENAS 양 알고리즘에서 11개의 벤치마크 전반에 걸쳐 ZC 프록시 통합이 순위 상관관계에서 일관된 성능 향상을 이룸.
• NAS-Bench-Suite-Zero 벤치마크는 2022년 AutoML-Conf에서 열린 제로코스트 NAS 경연 대회에서 성공적으로 활용되었으며, 수상 메서드들은 synflow, fisher, grad_norm × params의 정규화된 형태를 활용함.