[論文レビュー] Bayesian Optimization for Multi-objective Optimization and Multi-point Search

Takashi Wada, Hideitsu Hino|arXiv (Cornell University)|May 7, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用数 14

ひとこと要約

本稿では、連合獲得関数を導入することで、同時に多目的最適化と多点探索を処理できる、非ヒューリスティックなベイズ最適化手法を提案する。高次元探索空間における勾配消失問題を克服するため、計算的に効率的な勾配近似技術を採用しており、単峰性のテスト関数ではヒューリスティック手法と同等または優れた性能を示すが、多峰性問題では局所最適解に陥りやすい。

ABSTRACT

Bayesian optimization is an effective method to efficiently optimize unknown objective functions with high evaluation costs. Traditional Bayesian optimization algorithms select one point per iteration for single objective function, whereas in recent years, Bayesian optimization for multi-objective optimization or multi-point search per iteration have been proposed. However, Bayesian optimization that can deal with them at the same time in non-heuristic way is not known at present. We propose a Bayesian optimization algorithm that can deal with multi-objective optimization and multi-point search at the same time. First, we define an acquisition function that considers both multi-objective and multi-point search problems. It is difficult to analytically maximize the acquisition function as the computational cost is prohibitive even when approximate calculations such as sampling approximation are performed; therefore, we propose an accurate and computationally efficient method for estimating gradient of the acquisition function, and develop an algorithm for Bayesian optimization with multi-objective and multi-point search. It is shown via numerical experiments that the performance of the proposed method is comparable or superior to those of heuristic methods.

研究の動機と目的

• 非ヒューリスティックな方法で、同時に多目的最適化と多点探索を扱えるベイズ最適化フレームワークの構築を目的とする。
• 多点および多目的設定における獲得関数最適化における計算不能性と勾配消失問題を克服することを目的とする。
• 多目的のトレードオフと複数点の並列評価を統合した獲得関数の設計を目的とする。
• 高次元空間におけるゼロ勾配問題を回避する、新しいサンプリングベースの手法を用いて、獲得関数の効率的かつ正確な勾配推定を可能とすることを目的とする。
• 提案手法の探索効率を、ベンチマーク多目的テスト関数上でヒューリスティック手法と比較して実証的に検証することを目的とする。

提案手法

• 本手法は、期待ハイパーボリューム改善（EHI）を拡張することで、多目的最適化と多点探索を同時に処理できる連合獲得関数を定義する。
• 獲得関数は、q個の候補点における複数の目的値の連合分布を含む多次元積分として定式化される。
• 獲得関数の勾配推定のために、再パrameterizationトリックを用いたモンテカルロベースの手法を提案する。
• 勾配近似はサンプリングにより計算され、パスワイズ導出アプローチにより獲得関数の直接微分を避けることで、数値安定性を確保する。
• 獲得関数の最適化には、近似勾配を用いた準ニュートン法が用いられ、高次元入力空間における効率的な探索を可能にする。
• 本手法は、目的関数の確率的モデルとしてガウス過程を用いて実装される。

実験結果

リサーチクエスチョン

• RQ1 非ヒューリスティックなベイズ最適化フレームワークを設計でき、同時に多目的最適化と多点探索を処理できるか？
• RQ2 獲得関数をどのように定式化すれば、多目的のトレードオフと複数点の並列評価を統合的にモデル化できるか？
• RQ3 高次元探索空間において、勾配消失問題に見舞われることなく、獲得関数の勾配を効果的に推定する計算戦略は何か？
• RQ4 EHIと遺伝的アルゴリズムを組み合わせたヒューリスティック手法と比較して、提案手法の探索効率はどの程度か？
• RQ5 本手法は多峰性の目的関数に対してどの程度頑健であり、このような状況下で局所最適解に陥るおそれがあるか？

主な発見

• 単峰性のテスト関数（ZDT1やDTLZ2）において、提案手法はヒューリスティック手法と同等または優れたハイパーボリューム収束を達成しており、特に最適化の初期段階で顕著であった。
• 多峰性のZDT3関数では、ヒューリスティック手法よりも低い最終的なハイパーボリュームに収束したため、局所最適解に陥りやすいことが示された。
• 探索点数が多め（q=8）の場合、提案手法はZDT3においてヒューリスティック手法を上回った。これは、大規模なスケールでの探索能力の向上を示唆している。
• 勾配推定手法は高い正確性を示し、d_x=6、q=8の状況でも、真の勾配と推定勾配の間の平均角度が0.30ラジアンにとどまった。
• 提案された勾配近似は、勾配消失問題を効果的に緩和し、高次元探索空間における安定した最適化を可能にした。
• 本手法は計算効率とスケーラビリティを示し、d_x=6、q=8の状況で最大48次元の入力空間を含む獲得関数の最適化に成功した。