[논문 리뷰] Efficient Exploration in Binary and Preferential Bayesian Optimization

Tristan Fauvel, Matthew Chalk|arXiv (Cornell University)|2021. 10. 18.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 8

한 줄 요약

이 논문은 이진 및 선호도 기반 베이지안 최적화에서 효율적 탐색을 위한 원칙적인 접근법을 제안한다. 이는 목적 함수에 대한 지식 부족에 기인하는 지식적 불확실성(epistemic uncertainty)과 노이즈 있는 이진 관측에서 기인하는 고유한 불확실성(aleatoric uncertainty)을 구분함으로써 이루어진다. 지식적 불확실성은 높지만 고유의 불확실성은 낮은 영역을 우선시하는 할당 함수를 설계함으로써, 기존의 최첨단 히우리스틱들보다 뛰어난 성능을 달성하면서도 계산 효율성과 배치 설정으로의 확장성도 유지한다.

ABSTRACT

Bayesian optimization (BO) is an effective approach to optimize expensive black-box functions, that seeks to trade-off between exploitation (selecting parameters where the maximum is likely) and exploration (selecting parameters where we are uncertain about the objective function). In many real-world situations, direct measurements of the objective function are not possible, and only binary measurements such as success/failure or pairwise comparisons are available. To perform efficient exploration in this setting, we show that it is important for BO algorithms to distinguish between different types of uncertainty: epistemic uncertainty, about the unknown objective function, and aleatoric uncertainty, which comes from noisy observations and cannot be reduced. In effect, only the former is important for efficient exploration. Based on this, we propose several new acquisition functions that outperform state-of-the-art heuristics in binary and preferential BO, while being fast to compute and easy to implement. We then generalize these acquisition rules to batch learning, where multiple queries are performed simultaneously.

연구 동기 및 목표

• 이진 및 선호도 기반 베이지안 최적화에서 표준 할당 함수가 다양한 불확실성 유형을 혼합함으로써 탐색이 비효율적인 문제를 해결하기 위해.
• 이진 관측에서 제거 가능한 지식적 불확실성과 제거할 수 없는 고유의 불확실성을 구분함으로써 최적화 효율성을 향상시키기 위해.
• 지식적 불확실성이 높지만 관측 노이즈가 낮은 영역에서 탐색을 우선시하는 빠르고 해석 가능한 할당 함수를 개발하기 위해.
• 다수의 쿼리를 동시에 수행하는 배치 학습으로의 방법 일반화를 위해, 상호 연관된, 탐색이 부족한 선택을 피하기 위해.
• 기존 최첨단 방법들인 bivariate EI, Duel Thompson Sampling, KernelSelfSparring보다 벤치마크 평가에서 승리하기 위해.

제안 방법

• 전체 불확실성을 지식적 불확실성과 고유의 불확실성 성분으로 분해하며, GP 분류에서 지식적 불확실성에 대한 해석적 표현을 사용한다.
• 지식적 불확실성을 최대화하고 고유의 불확실성을 최소화하는 할당 함수를 제안함으로써, 불확실성이 정보를 제공하는 영역에서만 탐색이 이루어지도록 보장한다.
• 이진 BO의 경우, 할당 함수는 이항 분포 관측 확률의 분산인 $\mathbb{V}_{p(f|\mathscr{D})}[\Phi(f(\boldsymbol{x}))]$ 에 기반하며, 이는 해석적으로 계산된다.
• 선호도 기반 BO의 경우, 첫 번째 대결 참가자는 기대 효용(이윤)에 따라 선택되고, 두 번째 참가자는 지식적 불확실성에 따라 선택되어, Thompson Sampling과 bivariate EI를 능가한다.
• 배치 확장에서는 단일 탐색 기준에 기반해 한 번에 하나를 제외한 모든 멤버를 동시에 선택함으로써 상관관계를 감소시키고 커버리지를 향상시킨다.
• 가우시안 프로세스 사전분포와 라플라스 또는 EP 근사법을 사용하여 구현되며, 이는 효율적인 사후 추론과 할당 함수 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 지식적 불확실성과 고유의 불확실성을 구분함으로써 이진 베이지안 최적화에서 탐색을 어떻게 향상시킬 수 있는가?
• RQ2 지식적 불확실성을 우선시하고 고유의 불확실성이 높은 영역을 피하는 할당 함수가 BBO 및 PBO에서 수렴 속도를 높일 수 있는가?
• RQ3 제안된 방법은 선호도 기반 최적화에서 bivariate EI 및 Duel Thompson Sampling과 같은 기존 최첨단 할당 함수와 비교해 어떻게 성능을 냅니다?
• RQ4 관측 공간에서 잠재 공간 대비 작동함으로써 탐색 전략을 배치 학습으로 일반화할 수 있는가?
• RQ5 관측 공간에서 작업함으로써 이진 및 선호도 기반 최적화에서 더 나은 성능을 달성할 수 있는가?

주요 결과

• 제안된 할당 함수는 이진 및 선호도 기반 베이지안 최적화에서 기존 최첨단 히우리스틱들을 능가하며, 局부 최대값에 대한 과도한 이윤 추구를 줄이는 데 기여한다.
• 벤치마크 함수에서 bivariate EI 및 Duel Thompson Sampling보다 더 나은 최적화 성능을 달성하며, 수렴 속도가 빠르고 샘플 효율성이 향상된다.
• 지식적 불확실성 분산의 해석적 유도는 비용이 많이 드는 몬테카를로 근사법을 피하는 빠르고 안정적인 계산을 가능하게 한다.
• 모든 멤버를 동시에 탐색 기준에 따라 선택하는 배치 할당 규칙은 상관관계를 감소시키고 독립적 샘플링 방법에 비해 커버리지를 향상시킨다.
• 실험 결과는 잠재 공간에서 정의된 할당 함수가 높은 잠재 분산에도 불구하고 관측에 대해 높은 신뢰도를 가지므로, 탐색이 비효율적인 경우가 많다는 것을 보여주며, 이는 제안된 방법이 이를 수정함으로써 개선된다.
• 제안된 방법은 배치 PBO로 효과적으로 일반화되며, 상호 연관된 선택을 피하고 더 다양한 탐색을 가능하게 함으로써 KernelSelfSparring 및 관련된 TS 기반 배치 방법보다 뛰어난 성능을 보인다.