[논문 리뷰] Efficient hyperparameter optimization by way of PAC-Bayes bound minimization

John J. Cherian, Andrew G. Taube외 7명|arXiv (Cornell University)|2020. 08. 14.

Machine Learning and Data Classification참고 문헌 48인용 수 4

한 줄 요약

이 논문은 고차원 하이퍼파rameter 설정에서 과적합을 줄이기 위해 PAC-Bayes 경계를 최소화하는 새로운 하이퍼파rameter 최적화 방법을 제안한다. 목적함수를 미분 가능한 PAC-Bayes 일반화 경계로 공식화하고 기울기 기반 최적화를 사용함으로써, 기존 방법에 비해 더 나은 샘플 외 성능을 달성하며, 渐近적 복잡도는 기존 방법과 동일하거나 이를 향상시킨다.

ABSTRACT

Identifying optimal values for a high-dimensional set of hyperparameters is a problem that has received growing attention given its importance to large-scale machine learning applications such as neural architecture search. Recently developed optimization methods can be used to select thousands or even millions of hyperparameters. Such methods often yield overfit models, however, leading to poor performance on unseen data. We argue that this overfitting results from using the standard hyperparameter optimization objective function. Here we present an alternative objective that is equivalent to a Probably Approximately Correct-Bayes (PAC-Bayes) bound on the expected out-of-sample error. We then devise an efficient gradient-based algorithm to minimize this objective; the proposed method has asymptotic space and time complexity equal to or better than other gradient-based hyperparameter optimization methods. We show that this new method significantly reduces out-of-sample error when applied to hyperparameter optimization problems known to be prone to overfitting.

연구 동기 및 목표

• 고차원 하이퍼파arameter 최적화에서 과적합 문제를 해결함으로써, 특히 신경망 아키텍처 검색과 같은 대규모 머신러닝 응용 분야에서의 적용을 목표로 한다.
• PAC-Bayes 이론을 활용하여 더 나은 일반화 성능를 달성할 수 있는 새로운 최적화 목적함수를 개발한다.
• 최적의 공간 및 시간 복잡도를 갖는 효율적인 기울기 기반 알고리즘을 설계한다.
• 과적합에 취약한 하이퍼파arameter 최적화 문제에서 샘플 외 성능 향상을 실증적으로 입증한다.

제안 방법

• 하이퍼파arameter 최적화를 예측 가능한 샘플 외 오차에 대한 PAC-Bayes 경계 최소화 문제로 공식화한다.
• PAC-Bayes 일반화 경계에서 유도된 미분 가능한 목적함수를 도입하여 기울기 기반 최적화를 가능하게 한다.
• 모델의 일반화 오차 추정치를 통해 역전파를 수행함으로써, 확률적 경사하강법을 사용해 하이퍼파arameter를 최적화한다.
• 기존 기울기 기반 하이퍼파arameter 최적화 방법과 동일하거나 더 낫게, 渐진적 공간 및 시간 복잡도를 유지한다.
• 하이퍼파arameter를 사후 분포를 가진 랜덤 변수로 간주함으로써, 베이지안 일반화 경계가 최적화를 이끌 수 있도록 한다.
• 현대 딥러닝 워크로드에 적합하게 수천 또는 수백만 개의 하이퍼파arameter까지 스케일업 가능한 방법이다.

실험 결과

연구 질문

• RQ1 표준 경험적 리스크 최소화에 비해, PAC-Bayes 기반 목적함수는 고차원 하이퍼파arameter 최적화에서 과적합을 줄일 수 있는가?
• RQ2 기존 하이퍼파arameter 최적화 기법과 비교해 제안된 기울기 기반 최적화 방법의 계산 복잡도는 어떻게 되는가?
• RQ3 PAC-Bayes 경계를 최소화하면 실용적인 하이퍼파arameter 튜닝 과제에서 미리 보지 않은 데이터에 대해 더 나은 일반화 성능를 달성할 수 있는가?
• RQ4 신경망 아키텍처 검색에서 흔히 볼 수 있는 대규모 하이퍼파aram터 공간에 대해 이 방법은 효율적으로 확장 가능한가?
• RQ5 기준 하이퍼파aram터 최적화 문제에서 PAC-Bayes 목적함수의 사용이 샘플 외 오차에 미치는 실증적 영향은 무엇인가?

주요 결과

• 과적합에 취약한 문제에서 기존 하이퍼파arameter 최적화 기법에 비해 제안된 방법이 샘플 외 오차를 크게 감소시킨다.
• 기존 기울기 기반 하이퍼파arameter 최적화 방법과 동일하거나 더 낫게, 渐진적 공간 및 시간 복잡도를 달성한다.
• PAC-Bayes 경계를 최소화함으로써, 추가적인 하이퍼파aram터 튜닝이나 검증 데이터 없이도 일반화 성능 향상을 달성한다.
• 특히 고차원 설정에서 다양한 하이퍼파arameter 최적화 과제에 대해 뛰어난 성능를 보이며, 강인한 성능를 입증한다.
• 실증 결과는 PAC-Bayes 목적함수가 더 나은 일반화 성능를 보이는 모델을 도출함으로써 이론적 기반을 확인한다.