[논문 리뷰] Sampling Acquisition Functions for Batch Bayesian Optimization

Alessandro De Palma, Celestine Mendler-Dünner외 3명|arXiv (Cornell University)|2019. 03. 22.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 7

한 줄 요약

이 논문은 모델의 하이퍼파rameter에 따라 정의된 확률적 과정에서 취득 함수를 샘플링하는 새로운 배치 베이지안 최적화 방법인 Acquisition Thompson Sampling (ATS)을 소개한다. 하이퍼파rameter 샘플링을 통해 다양한 취득 함수를 도출함으로써, ATS는 어떤 순차적 취득 함수라도 효율적으로 병렬화할 수 있으며, 벤치마크 함수와 실제 XGBoost 하이퍼파ram터 튜닝에서 P-TS, B-LCB, LP와 같은 최신 기법들을 능가하여 수렴성과 배치 다양성을 향상시킨다.

ABSTRACT

We present Acquisition Thompson Sampling (ATS), a novel technique for batch Bayesian Optimization (BO) based on the idea of sampling multiple acquisition functions from a stochastic process. We define this process through the dependency of the acquisition functions on a set of model hyper-parameters. ATS is conceptually simple, straightforward to implement and, unlike other batch BO methods, it can be employed to parallelize any sequential acquisition function or to make existing parallel methods scale further. We present experiments on a variety of benchmark functions and on the hyper-parameter optimization of a popular gradient boosting tree algorithm. These demonstrate the advantages of ATS with respect to classical parallel Thompson Sampling for BO, its competitiveness with two state-of-the-art batch BO methods, and its effectiveness if applied to existing parallel BO algorithms.

연구 동기 및 목표

• 베이지안 최적화에서 어떤 순차적 취득 함수라도 병렬화하기 위한 일반적인 방법을 개발하는 것.
• 고정된 경계면 수정에 의존하지 않고, 배치 베이지안 최적화에서의 배치 다양성과 수렴성을 향상시키는 것.
• 기존 병렬 BO 방법들이 프레임워크에 하이퍼파rameter 샘플링을 통합함으로써 더 큰 스케일링을 가능하게 하는 것.
• 모델 하이퍼파rameter를 통해 취득 함수를 샘플링하는 것이 효과적인 병렬 최적화를 위한 충분한 다양성을 제공한다는 것을 입증하는 것.

제안 방법

• ATS는 사전 분포에서 다양한 하이퍼파rameter 설정 θ를 샘플링하여 각각을 확률적 과정의 독립적 샘플로 간주함으로써 취득 함수를 샘플링한다.
• 각 배치 점은 하이퍼파ram터의 사후 분포에서 샘플링된 θ_i에 따라 정의된 별개의 취득 함수 a(x, θ_i)를 최대화함으로써 선택된다.
• 잡기(jitter)를 도입한 j-ATS는 취득 함수의 파rameter에 대한 사전 분포에서 샘플링함으로써 탐색-이용 균형을 더욱 다양화한다.
• 또한, h-ATS는 보류 중인 평가를 시뮬레이션함으로써 데이터 사후 분포를 수정함으로써 다양성을 향상시키는 환영(홀로우) 기법을 도입한다.
• 이 방법은 기존의 배치 BO 방법들과 수직이며, EI, LCB 및 기타 순차적 취득 함수에 모두 적용 가능하다.
• 이 프레임워크는 독립적인 배치 선택과 기존 병렬 알고리즘(P-TS, B-LCB 등)의 향상 모두를 지원한다.

실험 결과

연구 질문

• RQ1 하이퍼파rameter에 의존하는 확률적 과정에서 취득 함수를 샘플링하는 방식이, 베이지안 최적화에서 어떤 순차적 취득 함수라도 효과적으로 병렬화하는 데에 적합한가?
• RQ2 하이퍼파rameter 샘플링에 의해 유도된 다양성은 전통적인 다양성 기법들(예: 국소 페널티 또는 환영)과 비교해 병렬 선택에서 어떻게 다른가?
• RQ3 ATS는 합성 및 실제 최적화 문제에서 B-LCB, LP, P-TS와 같은 최신 기법들을 능가하거나 동등하게 성능을 내는가?
• RQ4 잡기와 환영을 샘플링 프레임워크에 통합함으로써, 다중 최적점 또는 복잡한 목적 함수에서 성능 향상이 추가로 이루어지는가?
• RQ5 ATS는 P-TS, B-LCB와 같은 기존 병렬 BO 알고리즘의 효율성을 어느 정도 향상시킬 수 있는가?

주요 결과

• ATS는 다섯 개의 벤치마크 함수에서 P-TS보다 더 낮은 최소값을 지속적으로 찾으며, 수렴 성능 향상을 입증한다.
• 잡기를 추가한 j-ATS 버전은 배치 다양성을 크게 향상시켜 점들의 군집화를 줄이고 배치 내 거리가 짧은 이상치를 제거한다.
• Higgs 데이터셋에서 j-ATS는 배치 크기가 20일 때 XGBoost 하이퍼파라미터 튜닝에서 거의 이상적인 스피드업을 달성하며, B-LCB와 LP를 능가한다.
• j-ATS와 h-ATS와 같은 개선 사항은 특히 깊은 골짜기가 있는 함수에서 P-TS와 B-LCB와 같은 기존 병렬 방법의 성능을 향상시킨다.
• 바이올린 플롯 분석 결과, j-ATS는 평균 배치 점 간 거리를 증가시키고 거리 분포의 하단 꼬리를 제거함으로써 다양성 향상을 확인한다.
• ATS는 취득 함수 경계면이나 사후 모델에 대한 수정 없이도 최신 기법들과 경쟁력 있거나 더 우수한 성능을 달성한다.