[논문 리뷰] Discretization-free Knowledge Gradient Methods for Bayesian Optimization

Jian Wu, Peter I. Frazier|arXiv (Cornell University)|2017. 07. 20.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 4

한 줄 요약

이 논문은 유한한 근사치 없이 연속 도메인을 직접 다루는 이산화되지 않은 지식 기반 경향 방법을 제안한다. 이는 국소 최적화로의 빠른 수렴을 가능하게 하며, 배치 및 도함수 기반 설정으로 확장 가능하다. 이는 기존의 베이지안 최적화 방법보다 뛰어나며, 특히 노이즈가 있는 평가 조건에서 뛰어난 성능을 보인다. 도함수가 이용 가능한 경우 BFGS를 초월한다.

ABSTRACT

This paper studies Bayesian ranking and selection (R&S) problems with correlated prior beliefs and continuous domains, i.e. Bayesian optimization (BO). Knowledge gradient methods [Frazier et al., 2008, 2009] have been widely studied for discrete R&S problems, which sample the one-step Bayes-optimal point. When used over continuous domains, previous work on the knowledge gradient [Scott et al., 2011, Wu and Frazier, 2016, Wu et al., 2017] often rely on a discretized finite approximation. However, the discretization introduces error and scales poorly as the dimension of domain grows. In this paper, we develop a fast discretization-free knowledge gradient method for Bayesian optimization. Our method is not restricted to the fully sequential setting, but useful in all settings where knowledge gradient can be used over continuous domains. We show how our method can be generalized to handle (i) batch of points suggestion (parallel knowledge gradient); (ii) the setting where derivative information is available in the optimization process (derivative-enabled knowledge gradient). In numerical experiments, we demonstrate that the discretization-free knowledge gradient method finds global optima significantly faster than previous Bayesian optimization algorithms on both synthetic test functions and real-world applications, especially when function evaluations are noisy; and derivative-enabled knowledge gradient can further improve the performances, even outperforming the gradient-based optimizer such as BFGS when derivative information is available.

연구 동기 및 목표

• 연속 베이지안 최적화에 대한 지식 기반 경향 방법에서 이산화 근사의 한계를 해결하기 위해.
• 이산화 오차를 피하고 차원 증가에 따라 효율적으로 확장되는 방법을 개발하기 위해.
• 지식 기반 경향을 배치 및 도함수 기반 최적화 설정으로 확장하기 위해.
• 노이즈가 있는 함수 평가 조건에서도 수렴 속도와 강인성을 향상시키기 위해.

제안 방법

• 방법은 연속 도메인에 대한 적분으로 지식 기반 경향을 수식화하여 유한한 이산화를 피한다.
• 해석적 또는 수치적 적분을 사용하여 연속 검색 공간에서의 기대 향상도를 계산한다.
• 다중 점을 동시에 최적화함으로써 공동 기대치 최대화를 통해 배치 획득 함수로 일반화된다.
• 도함수 정보를 포함한 업데이트로 지식 기반 경향을 확장하여 검색 효율성을 향상시킨다.
• 공액 사전과 효율적인 샘플링 전략을 활용하여 계산의 타당성을 유지한다.
• 완전 순차적 및 병렬 최적화 설정을 모두 지원하여 다양한 적용 맥락에서의 유연성을 확보한다.

실험 결과

연구 질문

• RQ1 이산화 없이도 지식 기반 경향이 연속 도메인에서 효과적으로 적용될 수 있는가?
• RQ2 노이즈가 있는 평가 조건에서 이산화되지 않은 방법의 성능은 기존의 베이지안 최적화 알고리즘과 비교해 어떻게 되는가?
• RQ3 이 방법은 배치 및 도함수 기반 최적화를 지원하도록 확장될 수 있는가?
• RQ4 도함수 기반 변형은 BFGS와 같은 그래디언트 기반 솔버를 초월하는가?

주요 결과

• 이산화되지 않은 지식 기반 경향 방법은 시뮬레이션 및 실제 문제 테스트 함수에서 이전의 베이지안 최적화 알고리즘보다 국소 최적화로의 수렴 속도가 빠르게 된다.
• 노이즈가 있는 함수 평가 조건에서 이전 방법의 이산화 오차로 인해 성능이 저하되는 상황에서 본 방법은 뛰어난 성능을 보인다.
• 배치 버전(병렬 지식 기반 경향)은 효율적인 병렬 평가를 가능하게 하여 샘플 효율성을 향상시킨다.
• 도함수 기반 변형은 도함수 정보가 이용 가능한 경우 BFGS를 초월하며, 결정론적 최적화보다 베이지안 모델링의 이점을 입증한다.
• 격자 기반 근사가 없는 덕분에, 이산화된 대안 대비 차원 증가에 따라 더 나은 스케일링 성능을 보인다.