[논문 리뷰] Towards Assessing the Impact of Bayesian Optimization's Own Hyperparameters

Marius Lindauer, Matthias Feurer외 3명|arXiv (Cornell University)|2019. 08. 19.

Machine Learning and Data Classification참고 문헌 31인용 수 7

한 줄 요약

이 논문은 베이지안 최적화(Bayesian Optimization, BO)의 자체 초파rameter를 조정하는 영향을 조사하며, 다양한 벤치마크—인위적 함수, SVM 초파라미터 튜닝, 신경망 아키텍처 탐색—에서 BO의 any-time 성능을 크게 향상시키는 것으로 밝혀냈다. 연구 결과, 최적화된 BO 설정은 유사 문제에 대해 잘 일반화되며 놀랍게도 다른 문제 유형으로까지도 일반화됨을 보였고, 가우시안 프로세스 기반 BO에서 커널 선택과 길이 척도 사전분포가 가장 영향력 있는 초파라미터임을 확인했다.

ABSTRACT

Bayesian Optimization (BO) is a common approach for hyperparameter optimization (HPO) in automated machine learning. Although it is well-accepted that HPO is crucial to obtain well-performing machine learning models, tuning BO's own hyperparameters is often neglected. In this paper, we empirically study the impact of optimizing BO's own hyperparameters and the transferability of the found settings using a wide range of benchmarks, including artificial functions, HPO and HPO combined with neural architecture search. In particular, we show (i) that tuning can improve the any-time performance of different BO approaches, that optimized BO settings also perform well (ii) on similar problems and (iii) partially even on problems from other problem families, and (iv) which BO hyperparameters are most important.

연구 동기 및 목표

• 베이지안 최적화(Bayesian Optimization)의 자체 초파라미터를 조정하면 초파라미터 최적화(HPO) 성능이 향상되는지 조사하기.
• 최적화된 BO 초파라미터가 유사 및 비유사 문제 유형 간에 어떻게 일반화되는지 평가하기.
• 다양한 벤치마크에서 성능에 가장 영향을 미치는 BO 초파라미터를 특정하기.
• 제한된 함수 평가 횟수와 같은 실용적 제약 조건 하에서 BO 초파라미터를 메타최적화하는 것이 가능한지 평가하기.

제안 방법

• 저자는 목표 베이지안 최적화 시스템의 초파라미터를 여러 함수 유형에서 조정하기 위해 메타최적화기를 사용한다.
• 인위적 함수, SVM 초파라미터 최적화, 소규모 신경망 아키텍처 탐색 벤치마크에서 성능을 평가한다.
• 계산 비용을 줄이기 위해 서브티튜트 기반 접근법을 사용하며, 문헌에서 확립된 HPO 벤치마크를 활용한다.
• 초파라미터를 기본 설정에서 최적 설정으로 단계적으로 수정함으로써 영향력이 큰 요소를 규명하기 위해 탈락 분석(Ablation study)을 수행한다.
• 세 가지 예측 모델을 사용한다: 랜덤 포레스트(RF), 최대우도 추정 기반 가우시안 프로세스(GP-ML), MAP 추정 기반 가우시안 프로세스(GP-MAP).
• 성능는 any-time regret과 leave-one-function-out 시나리오에서의 일반화 능력으로 측정된다.

실험 결과

연구 질문

• RQ1 각 함수에 대해 독립적으로 최적화된 BO의 자체 초파라미터 조정이 성능에 미치는 영향은 얼마나 큰가?
• RQ2 최적화된 BO 설정이 동일 문제 유형의 새로운 함수로 어떻게 일반화되는가?
• RQ3 최적화된 BO 설정이 다른 문제 유형의 함수로 어떻게 일반화되는가?
• RQ4 목표 BO의 어떤 초파라미터가 가장 중요하며, 이들의 최적 설정은 각 벤치마크 유형 간에 어떻게 다를까?

주요 결과

• BO의 자체 초파라미터를 조정하면 모든 테스트된 BO 변종과 벤치마크 유형에서 일관되게 any-time 성능이 향상된다.
• 최적화된 BO 설정은 유사 문제에 대해 잘 일반화되며, 동일 가족의 새로운 함수들에서도 성능 향상이 종종 유지된다.
• 놀랍게도, 다른 문제 유형에서 최적화한 설정이 동일 가족에서 최적화한 설정보다 더 높은 성능을 보이기도 해, 이질적 문제 간 전이 가능성 잠재력이 있음을 시사한다.
• GP 기반 BO의 경우, 커널 선택(Matérn 대비 RBF 등)과 길이 척도 사전분포의 범위가 가장 영향력 있는 초파라미터였다.
• RF 기반 BO의 경우, 교차 무작위 샘플링 확률, 함수 값 변환, 최적 해 이동 보정이 핵심 요소였다.
• 성능 향상의 대부분을 담당하는 초파라미터는 일반적으로 여섯 개 이내의 소수의 초파라미터에 국한되어 있어, 모든 초파라미터를 조정할 필요는 없음을 시사한다.