[논문 리뷰] Generalization Guarantees for Neural Architecture Search with Train-Validation Split

Samet Oymak, Mingchen Li외 1명|arXiv (Cornell University)|2021. 04. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 79인용 수 5

한 줄 요약

이 논문은 오버파라미터라이제이션 설정에서 훈련-검증 분할을 사용한 신경망 아키텍처 탐색(NAS)에 대한 이론적 일반화 보장을 제공한다. 모든 아키텍처가 영점 훈련 손실을 달성하더라도, 검증 손실은 초급수 미분과 위험 추정을 통해 테스트 성능을 거의 최소한의 검증 데이터로 정확히 반영함을 보여주며, 이는 연속적인 탐색 공간에서 가장 일반화 성능이 뛰어난 아키텍처를 선별할 수 있음을 의미한다.

ABSTRACT

Neural Architecture Search (NAS) is a popular method for automatically designing optimized architectures for high-performance deep learning. In this approach, it is common to use bilevel optimization where one optimizes the model weights over the training data (inner problem) and various hyperparameters such as the configuration of the architecture over the validation data (outer problem). This paper explores the statistical aspects of such problems with train-validation splits. In practice, the inner problem is often overparameterized and can easily achieve zero loss. Thus, a-priori it seems impossible to distinguish the right hyperparameters based on training loss alone which motivates a better understanding of the role of train-validation split. To this aim this work establishes the following results. (1) We show that refined properties of the validation loss such as risk and hyper-gradients are indicative of those of the true test loss. This reveals that the outer problem helps select the most generalizable model and prevent overfitting with a near-minimal validation sample size. This is established for continuous search spaces which are relevant for differentiable schemes. Extensions to transfer learning are developed in terms of the mismatch between training & validation distributions. (2) We establish generalization bounds for NAS problems with an emphasis on an activation search problem. When optimized with gradient-descent, we show that the train-validation procedure returns the best (model, architecture) pair even if all architectures can perfectly fit the training data to achieve zero error. (3) Finally, we highlight connections between NAS, multiple kernel learning, and low-rank matrix learning. The latter leads to novel insights where the solution of the outer problem can be accurately learned via efficient spectral methods to achieve near-minimal risk.

연구 동기 및 목표

• 오버파라미터라이제이션된 딥 러닝 환경에서 훈련-검증 분할의 통계적 역할을 엄밀하게 분석하는 것.
• 훈련 손실이 정보를 주지 못할 때(즉, 모든 아키텍처에서 영점) 검증 손실이 왜 초급수 선택을 효과적으로 이끌 수 있는지 이해하는 것.
• 특히 활성화 함수 탐색 문제에 대해 연속적인 탐색 공간에서 NAS의 일반화 한계를 설정하는 것.
• NAS, 다중 커널 학습, 그리고 저랭크 행렬 학습 간의 이론적 연결 고리를 밝혀 알고리즘적 통찰을 얻는 것.
• 이중 최적화 설정에서 신뢰할 수 있는 일반화를 보장하기 위해 필요한 최소한의 검증 샘플 크기를 정량화하는 것.

제안 방법

• NAS를 이중 최적화 문제로 공식화: 하위 수준은 훈련 데이터에서 모델 가중치를 최적화하고, 상위 수준은 검증 데이터에서 아키텍처 초급수를 최적화한다.
• 검증 손실의 정교한 성질(예: 위험, 초급수 미분)을 진정한 테스트 손실 일반화의 대체 지표로 분석한다.
• 특히 훈련 오차가 영점이 되는 오버파라미터라이제이션 설정에서, 농도 불등식과 스펙트럼 분석을 사용해 일반화 한계를 설정한다.
• 상위 수준 문제에 스펙트럼 방법을 적용하여, 최적 아키텍처가 저랭크 행렬 학습 기법을 통해 효율적으로 근사 가능함을 보여준다.
• 확률론적 및 최적화적 추론의 사슬을 통해 오차 한계를 유도하며, 추정 오차, 근사 오차, 일반화 오차 항목을 포함한다.
• 다양화 가능한 NAS에 적합한 아키텍처 파라미터의 연속적 리미프리션을 사용하여, 아키텍처 초급수에 대한 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모든 아키텍처가 훈련 데이터를 완벽하게 학습(즉, 영점 훈련 오차)할 경우, 검증 손실이 테스트 성능을 신뢰성 있게 나타낼 수 있는가?
• RQ2 NAS에서 검증 손실이 진정한 테스트 손실을 정확히 반영하기 위해 필요한 최소한의 검증 샘플 크기는 얼마인가?
• RQ3 검증 세트에서의 초급수 미분과 위험 추정은 테스트 세트에서의 일반화 성능과 어떻게 관련이 있는가?
• RQ4 NAS, 다중 커널 학습, 저랭크 행렬 학습 간의 이론적 연결 고리는 무엇인가?
• RQ5 스펙트럼 방법을 사용해 상위 수준 NAS 문제를 보장 가능한 일반화 성능으로 효율적으로 해결할 수 있는가?

주요 결과

• 검증 샘플 크기 $ n_{ ext{V}} $ 가 초급수의 수 $ h $ 와 유사할 경우, 검증 손실은 테스트 손실 주위로 균일하게 집중되며, 이는 영점 훈련 오차가 존재하더라도 신뢰할 수 있는 아키텍처 선택을 가능하게 한다.
• 연속적인 탐색 공간에서는 초급수 미분과 검증 세트에서의 위험 추정이 일반화 성능의 강력한 지표이며, 이는 다양한 NAS에서 훈련-검증 분할의 사용을 정당화한다.
• 활성화 함수 탐색 문제에 대해 일반화 한계를 설정하였다: 모든 아키텍처가 영점 훈련 오차를 달성하더라도, 훈련-검증 절차는 최적의 (모델, 아키텍처) 쌍을 반환한다.
• 최적 아키텍처는 스펙트럼 방법을 통해 효율적으로 근사 가능하며, 상위 수준 문제의 해는 저랭크 행렬 학습 기법을 통해 복원 가능하다.
• 필요한 검증 샘플 크기는 거의 최소 수준이다: $ n_{ ext{V}} \gtrsim h $ 가 충분하여 검증 손실이 테스트 손실 주위로 균일하게 집중된다.
• 이론적 오차 한계는 NAS 출력의 총 오차가 제어 가능하며, 적절한 파라미터 스케일링 하에 충분한 훈련 및 검증 데이터로 총 오차를 임의로 작게 만들 수 있음을 보여준다.