[논문 리뷰] Maximizing acquisition functions for Bayesian optimization

James T. Wilson, Frank Hutter외 1명|arXiv (Cornell University)|2018. 05. 25.

Advanced Multi-Objective Optimization Algorithms인용 수 67

한 줄 요약

본 논문은 베이지안 최적화에서 획득 함수의 효율적 최대화 방법을 분석하고, 몬테카를로로 추정된 획득 함수의 기울기 기반 최적화와 근사-탐욕적 최대화로 보장되는 단기적 최대 획득 함수 가족에 대해 이론을 제시합니다.

ABSTRACT

Bayesian optimization is a sample-efficient approach to global optimization that relies on theoretically motivated value heuristics (acquisition functions) to guide its search process. Fully maximizing acquisition functions produces the Bayes' decision rule, but this ideal is difficult to achieve since these functions are frequently non-trivial to optimize. This statement is especially true when evaluating queries in parallel, where acquisition functions are routinely non-convex, high-dimensional, and intractable. We first show that acquisition functions estimated via Monte Carlo integration are consistently amenable to gradient-based optimization. Subsequently, we identify a common family of acquisition functions, including EI and UCB, whose properties not only facilitate but justify use of greedy approaches for their maximization.

연구 동기 및 목표

• 몬테카를로로 추정된 획득 함수를 미분 가능하게 만들고 최적화하는 방법을 명확히 한다.
• 일반적인 획득 함수 가족이 부분모듈러이며 근사 최적 보장을 갖는 근사적 탐욕 최대화에 적합함을 보인다.
• 병렬 및 고차원 설정에서 BO 성능을 개선하는 실용적 방법과 실험적 근거를 제공한다.
• 미분 가능성을 위한 이산 이벤트에 대한 확장과 연속-이산 이완을 탐구한다.

제안 방법

• 재매개화(trick) 기법과 샘플 경로 도함수를 통해 MC 획득 함수가 미분 가능함을 보인다.
• 획득 함수에 대한 재매개화된 가우시안 적분 형식을 제공하여 기울기 기반 최적화를 가능하게 한다.
• 일반 MM (myopic maximal) 획득 함수들이 부분모듈러임을 보여주며, 근사 최적의 탐욕 최대화를 보장한다.
• MM 획득에 대한 점증적(한계) 관점을 제시하고, EI, PI, SR, UCB를 EI 유사한 한계 이득과 연결한다.
• 연속 이완을 제시하여 이산 이벤트를 기울기 기반 최적화 내에서 다룬다.
• 병렬 최적화에 적합한 미분 가능 MC 형태로 UCB를 확장한다.

실험 결과

연구 질문

• RQ1 몬테카를로 추정 획득 함수는 미분 가능하고 그래디언트 방법으로 효율적으로 최적화될 수 있는가?
• RQ2 단기 최댓값 획득 함수가 부분모듈러하며, 탐욕적 방법이 병렬 베이지안 최적화에서 근사 최적의 질의를 산출하는가?
• RQ3 이산 이벤트 기준을 연속 이완을 통해 미분 가능 획득 최적화에 어떻게 포함시킬 수 있는가?
• RQ4 병렬 및 고차원 설정에서 그래디언트 기반 MC 최적화와 점증적 MM 형식으로 얻어지는 BO 성능의 실용적 이점은 무엇인가?

주요 결과

• 경미한 조건에서 MC 획득 함수는 편향 없이 미분 가능하고 최적화될 수 있다.
• 재매개화가 q-EI 및 관련 획득 함수의 기울기 기반 최적화를 병렬 설정에서 가능하게 한다.
• MM 획득 함수(EI, PI, SR, UCB)가 부분모듈러임이 보이며, 보장과 함께 근사 최적의 탐욕 최대화를 보장한다.
• 점증적 한계 이득은 계산적 이점과 결합 획득 차원이 증가할 때의 확장성 향상을 제공한다.
• 연속 이완은 이산 이벤트에 대한 미분 가능성을 허용하고, 그래디언트 기반 최적화를 가능하게 한다.
• 합성 및 블랙박스 과제에서 차원 및 병렬성에 따라 성능 향상을 보이는 실증 결과가 나타난다.