[논문 리뷰] Unexpected Improvements to Expected Improvement for Bayesian Optimization

Sebastian Ament, Samuel Daulton외 3명|arXiv (Cornell University)|2023. 10. 31.

Gaussian Processes and Bayesian Inference인용 수 43

한 줄 요약

논문은 LogEI 및 관련 Log-획득 함수들을 도입하여 EI 및 그 변형에서의 수치적 병리(pathologies)를 수정하고, 베이지안 최적화에서의 최적화 성능을 크게 향상시키며, 병렬 및 다목적 설정을 포함한다.

ABSTRACT

Expected Improvement (EI) is arguably the most popular acquisition function in Bayesian optimization and has found countless successful applications, but its performance is often exceeded by that of more recent methods. Notably, EI and its variants, including for the parallel and multi-objective settings, are challenging to optimize because their acquisition values vanish numerically in many regions. This difficulty generally increases as the number of observations, dimensionality of the search space, or the number of constraints grow, resulting in performance that is inconsistent across the literature and most often sub-optimal. Herein, we propose LogEI, a new family of acquisition functions whose members either have identical or approximately equal optima as their canonical counterparts, but are substantially easier to optimize numerically. We demonstrate that numerical pathologies manifest themselves in "classic" analytic EI, Expected Hypervolume Improvement (EHVI), as well as their constrained, noisy, and parallel variants, and propose corresponding reformulations that remedy these pathologies. Our empirical results show that members of the LogEI family of acquisition functions substantially improve on the optimization performance of their canonical counterparts and surprisingly, are on par with or exceed the performance of recent state-of-the-art acquisition functions, highlighting the understated role of numerical optimization in the literature.

연구 동기 및 목표

• 개선 기반 획득 함수(EI 및 EHVI)에서 기울이 소실을 유발하는 수치적 병리의 원인을 식별한다.
• 이러한 병리들을 완화하면서 표준 대응 함수들과 동등한 최적점을 보존하도록 LogEI 및 그 확장을 개발한다.
• LogEI 개념을 제약된, 병렬화된, 다목적 획득 함수(CEI, qEI, qEHVI)로 확장하고 구현한다.
• BoTorch 구현을 사용하여 다양한 벤치마크에서 경험적 성능 향상을 입증한다.

제안 방법

• LogEI를 EI의 안정적인 대안으로 정의하고 동등하거나 거의 동등한 최적점을 갖도록 한다.
• LogEI를 계산하기 위한 log_h와 그 로그 공간 구현을 수치적으로 안정적으로 제공한다.
• 매끄러운 근사치를 가진 제약 EI(LogCEI), 병렬 EI(qLogEI), 병렬 EHVI(LogEHVI/qLogEHVI) 프레임워크로 확장한다.
• LogEI 계열이 계산 비용을 증가시키지 않고 구현될 수 있음을 보인다.
• 단일목표, 제약, 병렬, 다목적 BO 벤치마크에서 경험적 개선을 시연한다.
• 모든 방법은 BoTorch에 구현되어 있다.

실험 결과

연구 질문

• RQ1 실제 BO 설정에서 수치적 병리로 인해 EI와 EHVI에서 기울이의 소실이 자주 발생하는가?
• RQ2 LogEI 및 그 변형이 수치적 안정성과 최적화 성능을 개선하면서 같은 최적점을 제공할 수 있는가?
• RQ3 제약, 병렬, 다목적 BO에서 LogCEI, qLogEI, qLogEHVI가 표준 대응 함수보다 우수한가?
• RQ4 LogEI 기반 획득에서 병렬 BO의 공동 배치 최적화가 순차적 탐욕 전략보다 경쟁력이 있거나 우수한가?

주요 결과

• LogEI와 그 변형이 표준 대응 함수에 비해 최적화 성능을 크게 향상시킨다.
• 해석적(Log) LogEI는 EI와 동일한 BO 정책을 달성하되 수치적 최적화 동작이 현저히 개선된다.
• LogCEI는 CEI를 능가하며 문헌의 일부 결과를 상당히 적은 함수 평가로도 능가할 수 있다.
• qLogEI를 이용한 공동 배치 최적화는 병렬 BO에서 순차적 탐욕 접근법과 경쟁하거나 이를 능가할 수 있다.
• 다객체 벤치마크에서 qLogEHVI는 일관되게 qEHVI를 상회한다.
• 개선은 계산 비용의 실질적 증가 없이 실현되며 다양한 문제 유형에서 강건하다.