[論文レビュー] Faster Computation of Expected Hypervolume Improvement

Iris Hupkens, Michael Emmerich+1 more|arXiv (Cornell University)|Aug 29, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 33被引用数 11

ひとこと要約

本稿では、多目的最適化における期待ハイパーボリュームインプローブメント（EHVI）の正確な計算のための新規アルゴリズムを提示する。二目的問題では時間計算量をO(n²)、三目的問題ではO(n³)に低減する。効率的なデータ構造とバッチ処理を活用することで、遅いモンテカルロ法に代わる高速かつ正確なEHVI評価を可能にし、ベイジアングローバル最適化フレームワークにおける実用的応用を実現する。

ABSTRACT

The expected improvement algorithm (or efficient global optimization) aims for global continuous optimization with a limited budget of black-box function evaluations. It is based on a statistical model of the function learned from previous evaluations and an infill criterion - the expected improvement - used to find a promising point for a new evaluation. The `expected improvement' infill criterion takes into account the mean and variance of a predictive multivariate Gaussian distribution. The expected improvement algorithm has recently been generalized to multiobjective optimization. In order to measure the improvement of a Pareto front quantitatively the gain in dominated (hyper-)volume is used. The computation of the expected hypervolume improvement (EHVI) is a multidimensional integration of a step-wise defined non-linear function related to the Gaussian probability density function over an intersection of boxes. This paper provides a new algorithm for the exact computation of the expected improvement to more than two objective functions. For the bicriteria case it has a time complexity in $O(n^2)$ with $n$ denoting the number of points in the current best Pareto front approximation. It improves previously known algorithms with time complexity $O(n^3 \log n)$. For tricriteria optimization we devise an algorithm with time complexity of $O(n^3)$. Besides discussing the new time complexity bounds the speed of the new algorithm is also tested empirically on test data. It is shown that further improvements in speed can be achieved by reusing data structures built up in previous iterations. The resulting numerical algorithms can be readily used in existing implementations of hypervolume-based expected improvement algorithms.

研究の動機と目的

• 多目的最適化における期待ハイパーボリュームインプローブメント（EHVI）の計算をより高速かつ正確に行うアルゴリズムの開発。
• 二目的問題におけるEHVI計算の時間計算量を、従来のO(n³ log n)からO(n²)に低減すること。
• 二つ以上の目的に拡張された正確なEHVI計算、特に三基準問題への適用。
• 計算効率の向上により、効率的グローバル最適化（EGO）におけるEHVIをインフィル基準として実用的に導入すること。
• 新しいアルゴリズムをモンテカルロ統合と比較し、実験的ベンチマークにおいてその実現可能性と高速性を示すこと。

提案手法

• パラトーフロントの点に対する構造的データ処理に基づき、二目的最適化における正確なEHVI計算のための新規アルゴリズムを提案。時間計算量はO(n²)。
• m次元空間におけるEHVI計算の汎用的アルゴリズムを導入。特に三基準問題に対して最適化された実装を提供。
• 線形データ構造と幾何的分解を用いて、ボックス領域の重複領域における段階的非線形関数の多次元積分を計算。
• バッチ評価とデータ構造のキャッシュを活用し、複数の候補点におけるEHVI計算をさらに高速化。
• 反復的最適化ループにおいて、特に重複計算を削減するために、前回の反復からの中間結果を再利用。
• モンテカルロ統合との比較により正しさを検証し、合成テストデータ上での性能を測定。

実験結果

リサーチクエスチョン

• RQ1 二目的最適化における正確なEHVI計算の時間計算量をO(n³ log n)未満に低減できるか？
• RQ2 二目的問題における正確なEHVI計算の理論的下界は何か？
• RQ3 三つの目的以上において、正確かつ効率的にEHVIを計算することは可能か、特に三次元においては？
• RQ4 新しい正確なEHVIアルゴリズムは、モンテカルロ法と比較して速度と正確性の点で優れているか？
• RQ5 複数のEHVI評価にわたるデータ構造の再利用は、全体の計算効率を顕著に向上させることができるか？

主な発見

• 提案されたアルゴリズムは、二目的EHVI計算においてO(n²)の時間計算量を達成し、従来のO(n³ log n)の境界と比べて顕著な改善を示す。
• 三基準最適化においては、O(n³)の時間計算量を達成し、より高い次元における正確な計算を可能にする。
• 実験的結果から、n ≈ 20程度の小さなnに対しても、単純なO(n³ log n)アプローチよりも本アルゴリズムが高速であることが示された。
• 三次元空間において、パラトーフロント近似のサイズが30の場合、2.5秒で100件以上のEHVI評価を実行可能である。
• データ構造の再利用を伴うバッチ評価により、候補点の数に比例して計算時間が線形に短縮され、反復的最適化における実用的な高速化が得られた。
• モンテカルロ統合との比較により実装の正しさと正確性が確認され、確率的手法を凌駆する速度性能を示した。