[論文レビュー] Unexpected Improvements to Expected Improvement for Bayesian Optimization

Sebastian Ament, Samuel Daulton+3 more|arXiv (Cornell University)|Oct 31, 2023

Gaussian Processes and Bayesian Inference被引用数 43

ひとこと要約

この論文は LogEI および関連する Log-取得関数を導入し、EI およびその派生における数値的病理を修正することで、ベイズ最適化の最適化性能を実質的に改善し、並列および多目的設定を含む。

ABSTRACT

Expected Improvement (EI) is arguably the most popular acquisition function in Bayesian optimization and has found countless successful applications, but its performance is often exceeded by that of more recent methods. Notably, EI and its variants, including for the parallel and multi-objective settings, are challenging to optimize because their acquisition values vanish numerically in many regions. This difficulty generally increases as the number of observations, dimensionality of the search space, or the number of constraints grow, resulting in performance that is inconsistent across the literature and most often sub-optimal. Herein, we propose LogEI, a new family of acquisition functions whose members either have identical or approximately equal optima as their canonical counterparts, but are substantially easier to optimize numerically. We demonstrate that numerical pathologies manifest themselves in "classic" analytic EI, Expected Hypervolume Improvement (EHVI), as well as their constrained, noisy, and parallel variants, and propose corresponding reformulations that remedy these pathologies. Our empirical results show that members of the LogEI family of acquisition functions substantially improve on the optimization performance of their canonical counterparts and surprisingly, are on par with or exceed the performance of recent state-of-the-art acquisition functions, highlighting the understated role of numerical optimization in the literature.

研究の動機と目的

• 改良ベースの取得関数（EI や EHVI）で勾配が消失する数値的病理を特定する。
• この病理を緩和しつつ、元の最適値を同等に保つ LogEI およびその拡張を開発する。
• 制約付き・並列・多目的の取得関数（CEI、qEI、qEHVI）へ LogEI の概念を拡張し、実装する。
• BoTorch 実装を用いて、さまざまなベンチマークで実証的な性能向上を示す。

提案手法

• LogEI を、等価またはほぼ等価な最適解を持つ安定な EI の代替として定義する。
• LogEI を計算するための数値的に安定な log_h の実装とその対数空間版を提供する。
• LogEI の枠組みを、制約付き EI（LogCEI）、並列 EI（qLogEI）、並列 EHVI（LogEHVI/qLogEHVI）へ、滑らかな近似とともに拡張する。
• LogEI ファミリーを用いても計算コストを増加させずに実装可能であることを示す。
• 単一目的・制約付き・並列・多目的の BO ベンチマークで経験的な改善を示す。
• すべての方法は BoTorch に実装されている。

実験結果

リサーチクエスチョン

• RQ1 実務的な BO 設定で、数値的病理が EI および EHVI による勾配の消失を頻繁に引き起こすか。
• RQ2 LogEI およびその派生が、数値的安定性と最適化性能を向上させつつ、同じ最適解を提供できるか。
• RQ3 LogCEI、qLogEI、および qLogEHVI は、制約付き・並列・多目的 BO でその標準的な対応物より優れているか。
• RQ4 LogEI ベースの取得を用いた場合、並列 BO におけるジョイント・バッチ最適化は逐次的な greedy アプローチと比べて競争力があるか、あるいは優れているか。

主な発見

• LogEI およびその派生は、標準的な対応物と比較して最適化性能を大幅に向上させる。
• 解析的な LogEI は EI と同じ BO ポリシーを達成するが、数値的最適化挙動が著しく改善される。
• LogCEI は CEI を上回り、文献のいくつかの結果をはるかに少ない関数評価回数で凌駕できる。
• qLogEI でのジョイント・バッチ最適化は、並列 BO において逐次 greedy アプローチと競合する、あるいはそれを上回る。
• qLogEHVI は多目的ベンチマーク全体で一貫して qEHVI を上回る。
• これらの改善は計算コストの意味のある増加を伴わず、さまざまな問題タイプで堅牢である。