[논문 리뷰] On Local Optimizers of Acquisition Functions in Bayesian Optimization

Jungtaek Kim, Seungjin Choi|arXiv (Cornell University)|2019. 01. 24.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 13

한 줄 요약

이 논문은 베이지안 최적화의 획득 함수에서 국소 최적화기와 전역 최적화기를 사용할 때의 성능 손실을 분석한다. 국소 최적화 및 다중 시작 국소 최적화 방법에 대해 순순간 손실 차이의 이론적 상한을 제시하며, 다중 시작 전략이 손실 상한을 크게 낮춘다는 것을 보여준다. 실험 결과 다중 시작 국소 최적화는 훨씬 낮은 계산 비용으로 전역 최적화에 가까운 성능을 달성함을 확인한다.

ABSTRACT

Bayesian optimization is a sample-efficient method for finding a global optimum of an expensive-to-evaluate black-box function. A global solution is found by accumulating a pair of query point and its function value, repeating these two procedures: (i) modeling a surrogate function; (ii) maximizing an acquisition function to determine where next to query. Convergence guarantees are only valid when the global optimizer of the acquisition function is found at each round and selected as the next query point. In practice, however, local optimizers of an acquisition function are also used, since searching for the global optimizer is often a non-trivial or time-consuming task. In this paper we consider three popular acquisition functions, PI, EI, and GP-UCB induced by Gaussian process regression. Then we present a performance analysis on the behavior of local optimizers of those acquisition functions, in terms of {\em instantaneous regrets} over global optimizers. We also introduce an analysis, allowing a local optimization method to start from multiple different initial conditions. Numerical experiments confirm the validity of our theoretical analysis.

연구 동기 및 목표

• 획득 함수 최적화에서 국소 최적화기를 전역 최적화기 대신 사용할 때의 성능 손실을 정량화하는 것.
• 일반적인 획득 함수에 대해 전역 최적화기와 국소 최적화기 간의 순순간 손실 차이를 이론적으로 상한으로 제시하는 것.
• 국소 최적화에서 다수의 랜덤 초기화를 사용할 때 손실 상한의 향상 정도를 분석하는 것.
• 기준 함수와 실제 베이지안 최적화 설정을 통해 이론적 상한을 실증적으로 검증하는 것.
• 다중 시작 국소 최적화가 전역 최적화에 비해 계산 비용을 크게 줄이며 최소한의 손실로 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 이론적 분석을 통해 가우시안 프로세스 모델의 리프시츠 연속성 및 사후 분산 성질을 이용해 전역 최적화기와 국소 최적화기 간의 순순간 손실 차이에 대한 상한을 유도한다.
• 논문은 다중 시작 국소 최적화 전략을 도입하며, 다양한 초기값에서 실행되는 L-BFGS-B의 다중 실행을 통해 근사 전역 최적해에 수렴하는 데 개선을 이룬다.
• 핵심 상한은 확률 부등식 및 획득 함수의 기울기와 곡률 성질을 이용해 유도된다.
• 다중 시작 설정으로의 이론적 결과 확장을 위해 전역 최적화기로부터 일정 거리 이내의 점을 찾을 확률을 모델링한다.
• 실증 검증은 표준 기준 함수(예: Branin, Hartmann6D)를 사용하며, EI 획득 함수와 GP 회귀를 적용하여 DIRECT(전역), 단일 국소, 다중 시작 국소 최적화기 간의 손실을 비교한다.
• 성능은 손실 차이와 계산 비용을 기준으로 측정되며, 9개의 테스트 함수에 걸쳐 이동 평균과 통계적 상한이 보고된다.

실험 결과

연구 질문

• RQ1 획득 함수 최대화에서 국소 최적화기를 전역 최적화기 대신 사용할 경우 순순간 손실 차이의 이론적 상한은 무엇인가?
• RQ2 국소 최적화에서 다수의 랜덤 초기화를 사용할 경우 손실 상한은 어떻게 변화하는가?
• RQ3 다중 시작 국소 최적화는 계산 비용을 줄이며 전역 최적화와 비슷한 손실 성능를 달성할 수 있는가?
• RQ4 국소 최적화기와 전역 최적화기로 베이지안 최적화를 수행할 때 손실 차이가 반복 과정에 따라 어떻게 변화하는가?
• RQ5 획득 함수 최적화에서 계산 효율성과 손실 성능 간의 상충 관계는 어떠한가?

주요 결과

• 전역 최적화기와 국소 최적화기 간의 순순간 손실 차이에 대한 이론적 상한이 유도되었으며, 이는 GP 모델의 리프시츠 상수와 사후 분산에 의존함을 보여준다.
• 다중 시작 국소 최적화의 손실 상한은 단일 국소 최적화보다 훨씬 낙관적이며, 시작 수 N에 대해 지수적으로 감소함을 보여준다.
• 실증 결과는 시작 수가 증가할수록 손실 차이가 감소하는 것을 확인하였으며, 1000회의 시작에서는 대부분의 경우 DIRECT의 성능에 가까워진다.
• 다중 시작 국소 최적화의 계산 비용은 N이 증가함에 따라 증가하지만, N ≤ 1000 범위에서는 DIRECT보다 훨씬 낮게 유지되며, L-BFGS-B(100)는 실용적인 균형점임을 보여준다.
• 9개 기준 함수 중 8개에서 다중 시작 국소 최적화(N ≥ 100)는 전역 최적화기의 손실 차이의 2배 이내로 성능를 달성하였으며, 수렴 품질 손실이 최소한이었다.
• 다중 시작 국소 최적화기가 전역 최적화기로부터 ϵ 이내의 점을 찾을 확률은 N이 증가함에 따라 증가하며, 상한은 (1−βg)^N로 감소함을 보여, 다수의 시작이 효과적임을 뒷받침한다.