[논문 리뷰] Unifying and Boosting Gradient-Based Training-Free Neural Architecture Search

Yao Shu, Zhongxiang Dai외 2명|arXiv (Cornell University)|2022. 01. 24.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 기울기 기반 훈련 없는 신경망 아키텍처 탐색(NAS)에 대한 통합 이론적 분석을 제안하며, 기존 메트릭 간의 연결성을 드러내고 훈련 없는 효율성과 훈련 기반 효과성의 조합을 가능하게 하는 새로운 프레임워크인 하이브리드 NAS(HNAS)의 개발을 가능하게 한다. HNAS는 낮은 탐색 비용을 유지하면서도 최신 기준을 초월하는 탐색 정확도를 달성하여, 다양한 벤치마크에서 순수한 훈련 없는 방법과 훈련 기반 방법을 모두 능가한다.

ABSTRACT

Neural architecture search (NAS) has gained immense popularity owing to its ability to automate neural architecture design. A number of training-free metrics are recently proposed to realize NAS without training, hence making NAS more scalable. Despite their competitive empirical performances, a unified theoretical understanding of these training-free metrics is lacking. As a consequence, (a) the relationships among these metrics are unclear, (b) there is no theoretical interpretation for their empirical performances, and (c) there may exist untapped potential in existing training-free NAS, which probably can be unveiled through a unified theoretical understanding. To this end, this paper presents a unified theoretical analysis of gradient-based training-free NAS, which allows us to (a) theoretically study their relationships, (b) theoretically guarantee their generalization performances, and (c) exploit our unified theoretical understanding to develop a novel framework named hybrid NAS (HNAS) which consistently boosts training-free NAS in a principled way. Remarkably, HNAS can enjoy the advantages of both training-free (i.e., the superior search efficiency) and training-based (i.e., the remarkable search effectiveness) NAS, which we have demonstrated through extensive experiments.

연구 동기 및 목표

• 기울기 기반 훈련 없는 NAS 메트릭에 대한 통합 이론적 이해를 수립하는 것. 현재 이러한 메트릭들은 이론적 기반을 갖추고 있지 않다.
• 기존 훈련 없는 메트릭 간의 이론적 관계를 명확히 하고, 그들의 경험적 성공을 설명하는 것.
• 이론적 통찰을 통해 훈련 없는 NAS에서 잠재된 잠재력을 규명하고, 더 나은 탐색 성능를 도출하는 것.
• 훈련 없는 NAS의 효율성과 훈련 기반 NAS의 효과성의 조합을 체계적으로 통합하는 프레임워크를 개발하는 것.
• 표준 NAS 벤치마크에서 광범위한 실험을 통해 이론적 통찰을 검증하는 것.

제안 방법

• 기울기 기반 훈련 없는 메트릭을 사용하여 DNN의 통합 일반화 경계를 유도함으로써, 이들의 성능에 대한 이론적 해석을 가능하게 한다.
• 이론적으로 특정 조건 하에서 훈련 없는 메트릭이 훈련 기반 NAS와 유사한 아키텍처 구조(넓은 또는 깊은)를 선호함을 보여준다.
• 베이지안 최적화(BO)와 훈련 없는 메트릭을 통합하여 훈련 기반 및 훈련 없는 성능 신호를 모두 활용하는 아키텍처 탐색을 지도하는 하이브리드 NAS(HNAS) 프레임워크를 제안한다.
• HNAS에서 일반화 보장을 강화하고 훈련 기반 검증 성능를 균형 잡기 위해 초모수 μ와 ν를 사용하며, 최적의 결과를 얻기 위해 BO를 통해 조정한다.
• 검색 진행 상황을 모니터링하고 HNAS의 효과성을 검증하기 위해 테스트 오차와 일반화 경계 간의 스피어만 상관관계를 사용한다.
• BO에서 다양한 획득 함수(EI, UCB 등)를 적용하여 HNAS의 최적화 전략에 대한 강건성과 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 기존 기울기 기반 훈련 없는 NAS 메트릭 간의 이론적 관계는 무엇인가?
• RQ2 훈련 없는 NAS의 경험적 성공을 설명할 수 있는 통합 일반화 경계를 도출할 수 있는가?
• RQ3 이론적 분석을 통해 훈련 없는 NAS가 훈련 기반 NAS와 유사한 아키텍처 구조를 선호하는지 확인할 수 있는가?
• RQ4 훈련 없는 NAS의 효율성과 훈련 기반 NAS의 효과성을 조합할 수 있는 하이브리드 프레임워크를 설계할 수 있는가?
• RQ5 제안된 HNAS 프레임워크는 베이지안 최적화 획득 함수의 변화에 대해 얼마나 강건한가?

주요 결과

• HNAS는 CIFAR-10에서 94.10 ± 0.16%, CIFAR-100에서 72.48 ± 0.95%, ImageNet-16-145에서 46.30 ± 0.17%의 테스트 정확도를 달성하여, 각각 최적 성능인 94.37%, 73.51%, 47.31%에 근접한다.
• 순수한 훈련 없는 변형인 κ/ℳTrace가 CIFAR-10에서 93.50%에 그치는 것에 비해 HNAS는 뚜렷한 성능 향상을 보이며, 훈련 기반 피드백을 통한 μ와 ν의 튜닝이 유의미한 이점을 제공함을 입증한다.
• BO 반복 과정 동안 테스트 오차와 일반화 경계 간의 상관관계가 증가함에 따라, HNAS가 점차 더 나은 아키텍처를 선택하고 있음을 확인한다.
• 다양한 획득 함수(EI 대비 UCB)를 사용했을 때 성능에 거의 차이가 없어, HNAS가 BO 알고리즘의 선택에 대해 강건함을 보였다.
• 이론적 분석을 통해 훈련 없는 메트릭이 훈련 기반 NAS와 유사한 인덕티브 바이어스(예: 넓은 또는 깊은 아키텍처)를 암묵적으로 선호함을 규명하였으며, 이는 접근법의 이론적 일관성을 검증한다.
• HNAS는 훈련 없는 NAS와 훈련 기반 NAS의 장점을 체계적으로 통합하여, 원칙적인 방식으로 뛰어난 탐색 효율성과 효과성을 동시에 달성하였다.