[論文レビュー] Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement

Samuel Daulton, Maximilian Balandat+1 more|arXiv (Cornell University)|May 17, 2021

Advanced Multi-Objective Optimization Algorithms被引用数 92

ひとこと要約

本論文はノイズのある多目的ベイズ最適化のための NEHVI と、キャッシュボックス分解を用いた大規模バッチに対応する並列版 q NEHVI を導入し、ノイズ下で最先端の性能を達成。

ABSTRACT

Optimizing multiple competing black-box objectives is a challenging problem in many fields, including science, engineering, and machine learning. Multi-objective Bayesian optimization (MOBO) is a sample-efficient approach for identifying the optimal trade-offs between the objectives. However, many existing methods perform poorly when the observations are corrupted by noise. We propose a novel acquisition function, NEHVI, that overcomes this important practical limitation by applying a Bayesian treatment to the popular expected hypervolume improvement (EHVI) criterion and integrating over this uncertainty in the Pareto frontier. We argue that, even in the noiseless setting, generating multiple candidates in parallel is an incarnation of EHVI with uncertainty in the Pareto frontier and therefore can be addressed using the same underlying technique. Through this lens, we derive a natural parallel variant, $q$NEHVI, that reduces computational complexity of parallel EHVI from exponential to polynomial with respect to the batch size. $q$NEHVI is one-step Bayes-optimal for hypervolume maximization in both noisy and noiseless environments, and we show that it can be optimized effectively with gradient-based methods via sample average approximation. Empirically, we demonstrate not only that $q$NEHVI is substantially more robust to observation noise than existing MOBO approaches, but also that it achieves state-of-the-art optimization performance and competitive wall-times in large-batch environments.

研究の動機と目的

• 高いサンプル効率で複数のノイズのあるブラックボックス目的関数間の最適なトレードオフ（パレート前線）を同定する。
• MOBO における観測ノイズを適切に考慮する獲得関数を開発する。
• 実世界の設定でスループットを向上させるために、スケーラブルな parallel/batch 評価を可能にする。
• ノイズ下でベースラインを上回る、理論的に妥当かつ経験的に頑健な手法を提供する。

提案手法

• 観測点での関数値の事後分布 p(f|D) を EHVI に対して積分することにより、ノイズ付き期待ハイパーボリューム改善量 (NEHVI) を定義する。
• 事後分布からのサンプルと候補点とを結合したサンプルを用いてモンテカルロ法で NEHVI を近似する（full-MC 版）。
• 評価間で Pareto フロンティアとボックス分解を再利用する Cached Box Decompositions (CBD) を導入し、時間・空間計算量をバッチサイズ q のべき乗から多項式へ低減する。
• 実行可能な最適化を維持するために、逐次的な貪欲近似を用いた q NEHVI を用いて並列/バッチ設定へ拡張する。
• ノイズ環境でも NEHVI が1ステップベイズ最適性を保持することと、CBD が勾配法を用いた微分可能な獲得最適化を可能にすることを証明する。
• 高速なバッチ選択のため、ランダムフーリエ特徴を用いた単一 GP サンプルパスによる安価な近似 q NEHVI-1 を提供する。

実験結果

リサーチクエスチョン

• RQ1 ノイズなしではなくノイズありの観測がある場合、MOBO をどのように効果的に実施できるか。
• RQ2 ノイズ下でパフォーマンスを犠牲にすることなく、EHVI ベースの獲得関数を大規模なバッチサイズにスケールさせられるか。
• RQ3 パレート前線の不確実性を積分する（NEHVI）ことは、ノイズのある観測下でのパレート前線の頑健性と多様性を改善するか。
• RQ4 大規模な問題に実務的においてNEHVIを効率的に計算・最適化するにはどうすればよいか。

主な発見

• NEHVI は観測ノイズに対して既存の MOBO アプローチより頑健で、クラスタリングを起こさずに良好に分布したパレート前線を得る。
• CBD アプローチは並列 EHVI の時間・空間計算量をバッチサイズ q の指数関数から多項式へ低減し、 大規模バッチを可能にする。
• q NEHVI は大規模バッチ設定で最先端の最適化性能と競争力の実行時間を達成する。
• q NEHVI-1 は勾配ベースの最適化を用いる高速な代替手段を提供し、GPU 上でのスケーリングに適している。
• 実験は、人工データ・実世界のノイズ付き MOBO ベンチマークで複数のベースラインに対して優れた性能を示す。