[논문 리뷰] Overfitting in Bayesian Optimization: an empirical study and early-stopping solution

Anastasia Makarova, Huibin Shen외 6명|arXiv (Cornell University)|2021. 05. 07.

Advanced Multi-Objective Optimization Algorithms참고 문헌 27인용 수 9

한 줄 요약

이 논문은 하이퍼파라미터 튜닝 중 베이지안 최적화(BO)에서의 과적합 현상을 조사하며, 검증 지표가 향상되더라도 소규모 데이터셋에서 BO가 과적합할 수 있음을 입증한다. 과적합을 방지하기 위해 예측 불확실성과 모델 적합도를 기반으로 한 조기 정지 기준을 제안하며, 실제 실험에서 이 방법이 기존 기준들보다 더 적응적으로 불필요한 반복을 줄이면서도 해의 품질을 유지함을 보여준다.

ABSTRACT

Tuning machine learning models with Bayesian optimization (BO) is a successful strategy to find good hyperparameters. BO defines an iterative procedure where a cross-validated metric is evaluated on promising hyperparameters. In practice, however, an improvement of the validation metric may not translate in better predictive performance on a test set, especially when tuning models trained on small datasets. In other words, unlike conventional wisdom dictates, BO can overfit. In this paper, we carry out the first systematic investigation of overfitting in BO and demonstrate that this issue is serious, yet often overlooked in practice. We propose a novel criterion to early stop BO, which aims to maintain the solution quality while saving the unnecessary iterations that can lead to overfitting. Experiments on real-world hyperparameter optimization problems show that our approach effectively meets these goals and is more adaptive comparing to baselines.

연구 동기 및 목표

• 베이지안 최적화에서 하이퍼파라미터 튜닝을 수행할 때, 특히 소규모 데이터셋에서 과적합의 정도와 영향을 조사하는 것.
• 검증 지표가 향상될수록 더 나은 테스트 성능을 낼 것이라는 기존의 가정이 항상 성립하지 않는다는 것을 도전하는 것.
• 과적합을 방지하면서도 BO에서 해의 품질을 유지하는 새로운 조기 정지 기준을 개발하는 것.
• 실제 하이퍼파라미터 최적화 시나리오에서 제안된 방법을 기존 기준들과 비교 평가하는 것.

제안 방법

• 저자들은 BO 반복 과정에서 예측 불확실성과 모델 적합도를 모니터링하여 과적합 위험이 있는 시점에 정지를 감지할 수 있는 새로운 정지 기준을 도입한다.
• 이 기준은 서rogate 모델에서의 불확실성 추정치와 검증 지표의 변화를 조합하여 최적화 과정을 중단할 시점을 결정한다.
• 관측된 성능 향상 추세와 불확실성 증가 경향에 따라 정지 시점을 동적으로 적응한다.
• 소규모에서 중간 규모의 데이터셋을 가진 실제 하이퍼파라미터 튜닝 작업에서 교차 검증 기반 메트릭을 사용하여 방법을 평가한다.
• 표준 BO 프레임워크와 호환되며, 표준 BO 설정 외에 추가 하이퍼파rameter가 필요 없는 경량화된 정지 규칙을 설계하였다.
• 고정된 반복 횟수나 고정된 성능 향상 기준에 기반한 기존 조기 정지 전략과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 베이지안 최적화가 소규모 데이터셋에서 모델을 튜닝할 때, 검증 지표가 향상되더라도 과적합이 얼마나 심각한가?
• RQ2 검증 성능에만 의존하지 않고, 최적화 과정 중에 과적합을 조기에 탐지할 수 있는 방법은 무엇인가?
• RQ3 예측 불확실성과 모델 적합도에 기반한 동적 조기 정지 기준이 과적합을 효과적으로 방지하면서도 높은 품질의 해를 유지할 수 있는가?
• RQ4 제안된 방법은 고정 반복 수나 고정 성능 향상 기준 기반 기준들과 비교해 일반화 성능과 효율성 측면에서 어떻게 다른가?

주요 결과

• 베이지안 최적화에서의 과적합은 소규모 데이터셋에서 특히 심각하고, 여전히 간과되고 있는 문제이며, 검증 지표가 향상되더라도 발생할 수 있다.
• 제안된 조기 정지 기준은 향후 반복이 일반화 성능을 떨어뜨릴 가능성이 있을 때 이를 감지함으로써 과적합을 효과적으로 방지한다.
• 기존 기준들보다 불필요한 최적화 반복을 줄이며, 최종 테스트 성능을 유지하거나 향상시킨다.
• 특히 자료가 제한된 상황에서 고정 반복 수나 고정 성능 향상 기준보다 더 뛰어난 적응성을 보여준다.
• 실제 하이퍼파라미터 튜닝 문제에 대한 실험 결과는, 이 방법이 해의 품질과 최적화 효율성 사이에 효과적으로 균형을 이룬다는 것을 확인한다.
• 예측 불확실성을 정지 신호로 사용함으로써, 노이즈가 많거나 오락적일 수 있는 검증 지표에 대한 저항력이 향상된다.