[논문 리뷰] Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics

Wuyang Chen, Xinyu Gong외 6명|arXiv (Cornell University)|2021. 08. 26.

Advanced Neural Network Applications참고 문헌 75인용 수 7

한 줄 요약

이 논문은 신경망 성능을 Trainability, Expressivity, Generalization(TEG)로 해석 가능한 세 가지 성분으로 분리하는 이론 기반 메트릭을 사용하여, 훈련이 필요 없는 통합형 프레임워크인 TEG-NAS를 제안한다. 다양한 NAS 방법(예: REINFORCE, Evolution, FP-NAS)을 지도하여 검색을 수행함으로써, 훈련 시간을 56% 이상 단축시키고 정확도를 향상시켰으며, FP-NAS와 함께 ImageNet에서 최신 기준의 top-1 정확도를 달성하였다.

ABSTRACT

This work targets designing a principled and unified training-free framework for Neural Architecture Search (NAS), with high performance, low cost, and in-depth interpretation. NAS has been explosively studied to automate the discovery of top-performer neural networks, but suffers from heavy resource consumption and often incurs search bias due to truncated training or approximations. Recent NAS works start to explore indicators that can predict a network's performance without training. However, they either leveraged limited properties of deep networks, or the benefits of their training-free indicators are not applied to more extensive search methods. By rigorous correlation analysis, we present a unified framework to understand and accelerate NAS, by disentangling "TEG" characteristics of searched networks - Trainability, Expressivity, Generalization - all assessed in a training-free manner. The TEG indicators could be scaled up and integrated with various NAS search methods, including both supernet and single-path approaches. Extensive studies validate the effective and efficient guidance from our TEG-NAS framework, leading to both improved search accuracy and over 56% reduction in search time cost. Moreover, we visualize search trajectories on three landscapes of "TEG" characteristics, observing that while a good local minimum is easier to find on NAS-Bench-201 given its simple topology, balancing "TEG" characteristics is much harder on the DARTS search space due to its complex landscape geometry. Our code is available at https://github.com/VITA-Group/TEGNAS.

연구 동기 및 목표

• 단순 훈련 또는 프록시 메트릭에 의존하는 기존 NAS 방법에서 내재된 높은 계산 비용과 검색 편향 문제를 해결한다.
• 다양한 NAS 파라다임(예: 슈퍼넷 및 싱글패스 접근법 포함)에서 훈련 없이 성능 예측이 가능한 통합형, 검색 방법에 종속되지 않는 프레임워크를 개발한다.
• 다차원 아키텍처 랜드스케이프 상에서 검색 경로를 시각화하여 NAS 검색 과정의 더 깊은 해석 가능성을 제공한다.
• 기울기 업데이트 없이도 효과적이고 효율적인 NAS를 가능하게 하여, 가중치 공유 또는 조기 정지에 기인한 인덕티브 편향을 피한다.
• 최종 신경망 정확도와 강하게 상관관계를 가지는 원리에 기반한 이론적 메트릭 기반의 NAS 기초를 확립한다.

제안 방법

• 훈련이 필요 없는 세 가지 메트릭 도입: $\hat{\kappa}$는 신경 탄성 커널을 통해 측정되는 Trainability, $\hat{R}$은 선형 영역 수를 통해 측정되는 Expressivity, MSE는 입력-출력 자코비안 분산을 통해 측정되는 Generalization.
• 이 세 메트릭을 통합하여, 어떤 훈련이나 역전파 없이도 아키텍처를 순위 매기는 통합형 NAS 프레임워크인 TEG-NAS를 구성한다.
• REINFORCE, Evolution, FP-NAS 등 다양한 NAS 검색 알고리즘에 TEG 프레임워크를 적용하여 호환성과 확장성을 입증한다.
• 3차원 TEG 공간(Trainability-Expressivity-Generalization)에서 검색 경로를 시각화하여 랜드스케이프 기하학과 수렴 행동을 분석한다.
• 아웃라이어 분석 및 1-에폭 훈련 기반 베이스라인과의 비교를 통해 표준 벤치마크(NAS-Bench-201, DARTS)에서 메트릭을 校정하고 검증한다.
• 강화 학습 및 진화적 검색에서 기존의 정확도 기반 보상 대신 메트릭을 보상 신호로 사용한다.

실험 결과

연구 질문

• RQ1 Trainability, Expressivity, Generalization을 캡처하는 훈련이 필요 없는 메트릭을 사용하여, 어떤 훈련 없이도 NAS를 안내할 수 있는가?
• RQ2 1-에폭 또는 절단 훈련에 의존하는 표준 NAS 방법과 비교해 볼 때, TEG 메트릭은 성능과 효율성 면에서 어떻게 비교되는가?
• RQ3 슈퍼넷 및 싱글패스 방법을 포함한 다양한 NAS 검색 알고리즘에 대해 TEG 프레임워크는 얼마나 일반화 가능한가?
• RQ4 아키텍처 검색 공간의 기하학적 구조(예: NAS-Bench-201 대비 DARTS)는 TEG 메트릭에 의해 지도된 검색의 수렴에 어떤 영향을 미치는가?
• RQ5 TEG 공간에서 검색 경로를 시각화하면, 복잡한 검색 공간에서 NAS의 행동과 과제에 대해 새로운 통찰을 제공할 수 있는가?

주요 결과

• TEG-NAS 프레임워크는 기준 방법 대비 검색 시간을 56% 이상 단축시켰으며, REINFORCE, Evolution, FP-NAS의 모든 훈련이 필요 없는 버전이 ImageNet에서 반 개 이상의 GPU 일일 이내에 검색을 완료하였다.
• ImageNet에서 TEG-NAS를 탑재한 FP-NAS는 top-1 오차 21.8%를 기록하여 이전 방법을 초월하며, 훈련이 필요 없는 NAS 분야에서 새로운 최고 기록을 수립하였다.
• NAS-Bench-201에서의 아웃라이어 분석 결과, $\hat{\kappa}$, $\hat{R}$, MSE의 세 메트릭을 모두 조합한 경우 테스트 정확도 70.42%를 기록하여, 단일 메트릭이나 1-에폭 훈련 기반 베이스라인(68.4%)보다 뛰어난 성능을 보였다.
• DARTS 공간에서의 검색은 복잡한 랜드스케이프 기하학을 보이며, NAS-Bench-201에 비해 TEG 특성을 균형 있게 유지하는 것이 훨씬 어려운 것으로 나타났다. 이는 더 단순한 구조와 더 쉬운 수렴을 보이는 NAS-Bench-201에 비해 어렵다.
• TEG 프레임워크를 통해 3차원 TEG 공간에서 검색 경로를 시각화할 수 있었으며, 이는 NAS-Bench-201와 같이 더 단순한 검색 공간에서는 좋은 국소 최소값을 더 쉽게 찾을 수 있음을 보여주었다.
• 훈련이 필요 없는 메트릭, 특히 $\hat{\kappa}$와 $\hat{R}$은 최종 신경망 정확도와 강한 상관관계를 보이며, 이들의 이론적 기반과 실용적 유용성을 검증하였다.