[論文レビュー] Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization

Samuel Daulton, Maximilian Balandat+1 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 65被引用数 121

ひとこと要約

q-EHVI を導入し、微分可能で並列な多目的ベイズ最適化の獲得関数で、MC誤差まで正確に結合EHVIを計算し、自動微分とGPU加速による正確な勾配を実現する。これにより優れた性能と実用性を示す。

ABSTRACT

In many real-world scenarios, decision makers seek to efficiently optimize multiple competing objectives in a sample-efficient fashion. Multi-objective Bayesian optimization (BO) is a common approach, but many of the best-performing acquisition functions do not have known analytic gradients and suffer from high computational overhead. We leverage recent advances in programming models and hardware acceleration for multi-objective BO using Expected Hypervolume Improvement (EHVI)---an algorithm notorious for its high computational complexity. We derive a novel formulation of q-Expected Hypervolume Improvement (qEHVI), an acquisition function that extends EHVI to the parallel, constrained evaluation setting. qEHVI is an exact computation of the joint EHVI of q new candidate points (up to Monte-Carlo (MC) integration error). Whereas previous EHVI formulations rely on gradient-free acquisition optimization or approximated gradients, we compute exact gradients of the MC estimator via auto-differentiation, thereby enabling efficient and effective optimization using first-order and quasi-second-order methods. Our empirical evaluation demonstrates that qEHVI is computationally tractable in many practical scenarios and outperforms state-of-the-art multi-objective BO algorithms at a fraction of their wall time.

研究の動機と目的

• 複数の高価な目的関数のサンプル効率の良い最適化に取り組む。
• MO BO のための微分可能な並列獲得関数を開発する。
• 自動微分によって q-EHVI の正確な勾配計算を可能にする。
• SAA フレームワークの下で理論的な収束保証を提供する。
• ベンチマークと実世界の問題で経験的優位性と実践的な扱いやすさを示す。

提案手法

• q 個の新しい点に対して、exact MC ベースの結合ハイパーボリューム改善として q-EHVI を定式化する。
• ボックス分解と包除原理を用いて非支配領域全体の HVI を計算する。
• 再パラメータ化と自動微分を用いて MC 推定量の勾配を正確に計算する。
• 獲得最大化の決定論的な高次最適化を可能にするためにサンプル平均近似を適用する。
• 微分可能なシグモイドを用いた実現可能性重み付けによってアウトカム制約に拡張する。
• 実世界で速いウォールタイムと点ごとのほぼ一定計算量を達成するためにGPUの Parallelism を活用する。

実験結果

リサーチクエスチョン

• RQ1 M>2 の目的を跨ぐ並列 MO BO において、q-EHVI は MC 誤差まで正確な結合 EHVI を提供できるか？
• RQ2 正確な MC 勾配は、勾配法と比べて q-EHVI の効率的な勾配ベース最適化を可能にするか？
• RQ3 補助的なアウトカム制約と高並列設定での q-EHVI の性能はどうなるか？
• RQ4 サンプル平均近似フレームワークの下で q-EHVI を最適化したときの収束保証は何か？

主な発見

• q-EHVI は M>2 かつ制約を伴う並列 MO BO の MC 推定量の正確な勾配を可能にする。
• 本手法は最先端の MO BO ベースラインより経験的に速く、しばしばハイパーボリュームのカバレッジも向上する。
• 正確な勾配を用いた最適化は、勾配なし法や有限差分法を大きく上回る。
• 逐次的な貪欲法と結合最適化の両方が実現可能であり、保留点の逐次統合が有利な性能を示す。
• 本手法は現代のGPU上で効率的にスケールし、実用的なウォールタイムを提供し、バッチサイズ q の増加にも堅牢性を維持する（分割制限を条件とする）。
• 合成および実世界の MO 問題（車両安全設計や ABR 制御を含む）で、収束速度と最終的なハイパーボリュームの点で優れた性能を示す。