[論文レビュー] Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement

Samuel Daulton, Maximilian Balandat+1 more|arXiv (Cornell University)|May 17, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 68被引用数 40

ひとこと要約

本論文はノイズを伴う観測を考慮した多目的ベイズ最適化のための NEHVI を導入し、キャッシュ箱分解技術を用いた並列バッチ版 q NEHVI を提案。大規模バッチへスケールする。

ABSTRACT

Optimizing multiple competing black-box objectives is a challenging problem in many fields, including science, engineering, and machine learning. Multi-objective Bayesian optimization (MOBO) is a sample-efficient approach for identifying the optimal trade-offs between the objectives. However, many existing methods perform poorly when the observations are corrupted by noise. We propose a novel acquisition function, NEHVI, that overcomes this important practical limitation by applying a Bayesian treatment to the popular expected hypervolume improvement (EHVI) criterion and integrating over this uncertainty in the Pareto frontier. We argue that, even in the noiseless setting, generating multiple candidates in parallel is an incarnation of EHVI with uncertainty in the Pareto frontier and therefore can be addressed using the same underlying technique. Through this lens, we derive a natural parallel variant, $q$NEHVI, that reduces computational complexity of parallel EHVI from exponential to polynomial with respect to the batch size. $q$NEHVI is one-step Bayes-optimal for hypervolume maximization in both noisy and noiseless environments, and we show that it can be optimized effectively with gradient-based methods via sample average approximation. Empirically, we demonstrate not only that $q$NEHVI is substantially more robust to observation noise than existing MOBO approaches, but also that it achieves state-of-the-art optimization performance and competitive wall-times in large-batch environments.

研究の動機と目的

• ノイズのあるブラックボックス目的を効率的に最適化するという課題に対処する。
• ノイズ下でのハイパーボリューム最大化のためのベイズ最適な獲得関数を開発する。
• MOBO におけるスケーラブルな並列バッチ評価を実現する。
• NEHVI と q NEHVI の理論的保証とオープンソース実装を提供する。

提案手法

• NEHVI を、以前に観測された（ノイズあり）関数値の事後分布に対して EHVI を統合することで定義する。
• 逐次的な貪欲アプローチとモンテカルロ近似を用いて q NEHVI による並列バッチへ拡張する。
• Cached Box Decompositions（CBD）を導入し、MCサンプル間でパレート前線とボックス分解を計算・キャッシュする。
• ガウス後方分布の再パラメータ化トリックを使用して条件付き事後 p(f(Xn), f(x)|Dn) からの同時サンプリングを可能にする。
• 微分可能性を活用した NEHVI 目的関数の勾配ベース最適化を提供する。
• サンプル平均近似の下で獲得最適化の収束保証を証明する。

実験結果

リサーチクエスチョン

• RQ1 観測がノイズ付きの場合、ハイパーボリュームを最大化する入力を最適に選択するにはどうすればよいか？
• RQ2 並列 MOBO を指数コストなしにノイズのある目的で効率的にスケールさせることはできるか？
• RQ3 Pareto-front の不確実性を積分することは、プラグイン的アプローチと比較してノイズ耐性を改善するか？
• RQ4 固定のランダムサンプル（SAA）を用いた NEHVI における獲得最適化の理論的保証は何か？

主な発見

• NEHVI はノイズ下で均一に分布する Pareto frontiers を堅牢に特定し、ノイズ観測によって崩れる frontiers を回避する。
• q NEHVI は大規模バッチにも多項式複雑度でスケールし、指数の IEP アプローチを用いた方法よりも優れている。
• CBD は MC サンプル間で Pareto frontiers と box decompositions をキャッシュすることにより EHVI の計算を効率化し、実行時間を短縮する。
• Full-MC NEHVI はマルチタスク共分散をサポートし、ノイズあり・ノイズなしの両方の設定でベイズ最適性を保持する。
• 獲得関数の微分可能性のおかげで NEHVI の勾配ベース最適化が可能で、バッチの高速最適化を実現する。
• 経験的結果は大規模バッチ MOBO のベンチマークで最先端の性能と競争力のある wall-time を示す。