[논문 리뷰] Automatic Termination for Hyperparameter Optimization

Anastasia Makarova, Huibin Shen외 6명|arXiv (Cornell University)|2021. 04. 16.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 교차검증 분산 기반의 데이터 기반 임계값과 고확률 신뢰구간을 사용하여, 추정된 손실이 전역 최적해에 충분히 가까워질 때 자동으로 종료되는 베이지안 최적화의 자동 정지 기준을 제안한다. 이 방법은 과적합을 줄이고 계산 자원을 절약하면서도 다양한 HPO 벤치마크에서 높은 테스트 성능을 유지한다.

ABSTRACT

Bayesian optimization (BO) is a widely popular approach for the hyperparameter optimization (HPO) in machine learning. At its core, BO iteratively evaluates promising configurations until a user-defined budget, such as wall-clock time or number of iterations, is exhausted. While the final performance after tuning heavily depends on the provided budget, it is hard to pre-specify an optimal value in advance. In this work, we propose an effective and intuitive termination criterion for BO that automatically stops the procedure if it is sufficiently close to the global optimum. Our key insight is that the discrepancy between the true objective (predictive performance on test data) and the computable target (validation performance) suggests stopping once the suboptimality in optimizing the target is dominated by the statistical estimation error. Across an extensive range of real-world HPO problems and baselines, we show that our termination criterion achieves a better trade-off between the test performance and optimization time. Additionally, we find that overfitting may occur in the context of HPO, which is arguably an overlooked problem in the literature, and show how our termination criterion helps to mitigate this phenomenon on both small and large datasets.

연구 동기 및 목표

• 고정된 예산을 사전에 설정하는 것의 문제를 해결하기 위해 베이지안 하이퍼파rameter 최적화(HPO)에서의 고정 예산 설정 문제를 해결한다. 이는 최적 성능에 이르지 못하거나 불필요한 계산 자원 낭비를 초래할 수 있다.
• 검증 성능 향상이 테스트 성능 향상으로 이어지지 않는 상황에서 HPO에서의 과적합을 식별하고 완화한다.
• 해당 솔루션의 품질을 유지하면서 최적화 시간을 줄일 수 있는 직관적이고 즉시 사용 가능한 정지 기준을 개발한다.
• 고정된 값이 아닌 교차검증의 통계적 성질에 기반한 데이터 기반 임계값을 제공하여 정지를 위한 기준을 설정한다.

제안 방법

• 현재 최고 성능와 전역 최적해의 차이인 단순 손실에 대한 고확률 상한선을 사용하여 정지 시점을 안내한다.
• 교차검증 추정치의 분산에서 유도된 정지 임계값을 통합하여 검증 오차와 테스트 오차 사이의 불가피한 격차를 고려한다.
• 사용자가 정의한 허용 오차 이내에서 추가 최적화가 유의미한 향상률을 낼 가능성이 낮다는 것을 동적으로 평가한다.
• 모든 BO 기반 HPO 방법과 호환되며, Hyperband 등의 기존 가속 기법과도 조합 가능하다.
• 고정된 반복 횟수나 히وري스틱 성능 향상 기준에 의존하지 않고, 통계적 신뢰도를 활용해 언제 정지를 해야 할지 결정한다.
• 기존 최적화 루프를 수정하지 않고도 통합 가능한 플러그인 형태로 구현되어 표준 HPO 파이프라인에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 관측된 데이터에 적응하는 자동 정지 기준을 베이지안 최적화의 HPO에 설계할 수 있는가?
• RQ2 교차검증의 통계적 분산이 검증 기반 정지 결정의 신뢰성에 어떤 영향을 미치는가?
• RQ3 교차검증 분산 기반의 데이터 기반 임계값을 사용할 경우 최적화 시간과 최종 테스트 성능 사이의 트레이드오프가 향상되는가?
• RQ4 심지어 교차검증이 적용된 상황에서도 HPO에서 과적합이 얼마나 심각하게 발생하는가? 자동 정지 기준이 이를 완화하는 데 기여하는가?
• RQ5 제안된 정지 기준은 다양한 HPO 최적화기와 벤치마크 데이터셋에 대해 얼마나 강건한가?

주요 결과

• 제안된 정지 기준은 진짜 손실이 사용자가 정의한 허용 오차 내에 있을 때 80%에서 90%의 성공률을 기록하여 높은 솔루션 품질을 보장한다.
• 과적합 완화 효과가 뚜렷하게 나타나며, 정지 시점의 테스트 성능이 이후 라운드보다 높은 RYC 점수로 확인된다.
• HPO-Bench와 NAS-Bench-201에서, 이 방법은 최적화 시간을 단축시키면서도 테스트 성능을 유지하는 데서 베이스라인보다 뛰어난 성능을 보였다.
• 랜덤 서치와 BORE를 포함한 다양한 HPO 최적화기에서 일관된 성능을 보이며 강건성을 입증했다.
• 속도 향상은 상당하고 안정적이며, 고정된 반복 횟수나 수렴 검사에 의존하는 베이스라인 대비 솔루션 품질의 열화가 최소한이었다.
• 연구 결과에 따르면, 심지어 교차검증이 적용된 상황에서도 HPO에서 과적합은 실제 존재하며 간과되기 쉬운 문제이며, 조기 정지가 이를 방지할 수 있음을 확인했다.