[논문 리뷰] Towards Automatic Bayesian Optimization: A first step involving acquisition functions

Eduardo C. Garrido‐Merchán, Luis C. Jariego Pérez|arXiv (Cornell University)|2020. 03. 21.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 4

한 줄 요약

이 논문은 히우리스틱 앙상블(예: 가중치 기반 및 헤지 기반 조합)을 사용해 동적으로 할당 함수(AF)를 선택하는 프레임워크를 제안하여 수동 AF 튜닝에 대한 의존도를 줄입니다. 이 방법은 벤치마크 함수와 실제 하이퍼파라미터 튜닝 작업 전반에서 뛰어난 성능을 보이며, 가중치 기반 AF는 일관되게 개별 AF를 능가하고 노이즈가 많거나 고차원적인 환경에서도 강인함을 입증합니다.

ABSTRACT

Bayesian Optimization is the state of the art technique for the optimization of black boxes, i.e., functions where we do not have access to their analytical expression nor its gradients, they are expensive to evaluate and its evaluation is noisy. The most popular application of bayesian optimization is the automatic hyperparameter tuning of machine learning algorithms, where we obtain the best configuration of machine learning algorithms by optimizing the estimation of the generalization error of these algorithms. Despite being applied with success, bayesian optimization methodologies also have hyperparameters that need to be configured such as the probabilistic surrogate model or the acquisition function used. A bad decision over the configuration of these hyperparameters implies obtaining bad quality results. Typically, these hyperparameters are tuned by making assumptions of the objective function that we want to evaluate but there are scenarios where we do not have any prior information about the objective function. In this paper, we propose a first attempt over automatic bayesian optimization by exploring several heuristics that automatically tune the acquisition function of bayesian optimization. We illustrate the effectiveness of these heurisitcs in a set of benchmark problems and a hyperparameter tuning problem of a machine learning algorithm.

연구 동기 및 목표

• 수동 하이퍼파라미터 튜닝에 대한 의존도를 줄이기 위해 할당 함수 선택을 자동화하는 것.
• 다양한 할당 함수를 조합하여 최적화의 강인성을 향상시키는 히우리스틱 기반 앙상블 방법을 탐색하는 것.
• 고정된 수동 선택 할당 함수보다 자동 AF 선택이 블랙박스 최적화에서 더 우수한 성능을 보이는지 평가하는 것.
• 다양한 벤치마크 함수와 실제 하이퍼파라미터 튜닝 작업 전반에서 앙상블 AF의 효과성을 평가하는 것.
• 신뢰할 수 있고 적응 가능한 AF 선택 전략을 규명하여 완전 자동 베이지안 최적화의 기반을 마련하는 것.

제안 방법

• 저자들은 예를 들어 기대 개선도(Expected Improvement), 확률 개선도(Probability of Improvement), 하위 신뢰구간 하한(Lower Confidence Bound) 등의 할당 함수를 가중치 기반 및 헤지 기반 전략을 사용해 조합하는 히우리스틱 앙상블 방법을 제안합니다.
• 각 할당 함수는 반복적으로 평가되며, 과거의 성공 기록에 따라 회귀 감소에 기여하는 정도에 따라 동적으로 가중치가 부여됩니다.
• 이 방법은 매 반복에서 할당 함수를 최적화하기 위해 격자 탐색을 사용하며, 절대 회귀를 최소화하는 데 중점을 둡니다.
• 미래 작업으로 확률적 그래픽 모델을 고려하며, GP 상태에서 최적의 AF를 예측하기 위해 딥러닝을 활용할 가능성도 제기됩니다.
• 프레임워크는 표준 벤치마크 함수(Hartmann, Rastrigin)와 기울기 부스팅 분류기로 Digits 데이터셋에서 수행된 실제 하이퍼파라미터 튜닝 작업에서 테스트되었습니다.
• 저자들은 최대우도 추정보다 슬라이스 샘플링을 사용하여 저평가 환경에서의 과적합을 방지할 것을 주장합니다.

실험 결과

연구 질문

• RQ1 히우리스틱 앙상블 할당 함수가 수동으로 선택된 개별 할당 함수보다 베이지안 최적화에서 더 우수한 성능을 내는가?
• RQ2 할당 함수에 대한 동적 가중치 부여 방식이 다양한 유형의 블랙박스 함수에서 최적화 성능에 어떤 영향을 미치는가?
• RQ3 자동 할당 함수 선택이 하이퍼파라미터 최적화에서 전문가 튜닝의 필요성을 줄이는가?
• RQ4 다수의 국소 최적값을 가진 함수, 예를 들어 Rastrigin 함수에서는 앙상블 전략이 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법이 실제 머신러닝 하이퍼파라미터 튜닝 작업에 일반화 가능한가?

주요 결과

• 가중치 기반 할당 함수는 Hartmann 및 Rastrigin을 포함한 모든 벤치마크 함수에서 일관되게 최상의 성능을 기록했으며, 하이퍼파라미터 튜닝 실험에서는 최고 성과를 달성한 팀 중 하나로 기록되었습니다.
• Hartmann 함수에서는 순수하게 탐색을 위한 전략보다는 이용 전략을 쓰는 AF(EI 및 PI)가 더 뛰어난 성능을 보였으며, 이는 단일 최적값을 가지며 매끄러운 함수에서는 탐색이 해로울 수 있음을 확인합니다.
• 앙상블 AF(가중치 기반 및 헤지 기반)는 개별 AF가 실패하더라도 최악의 성능을 피하는 강인성을 보였습니다.
• Rastrigin 함수는 많은 국소 최적값과 할당 함수 최적화에 사용된 격자 탐색으로 인해 높은 표준편차를 보였으며, 이는 할당 함수 최적화를 더 정교하게 설계할 필요가 있음을 시사합니다.
• Digits 데이터셋에서의 실제 하이퍼파라미터 튜닝 실험은 가중치 기반 AF가 다른 전략보다 뛰어난 성능을 보였으며, 유의미한 파라미터 조합 덕분에 무작위 탐색도 놀랍게 잘 성과를 냈습니다.
• 연구는 앙상블 기반 AF 선택이 완전 자동 베이지안 최적화를 향한 실질적인 첫걸음이며, 사전 지식이 제한된 상황에서 尤히 유망하다고 결론을 내립니다.