[論文レビュー] Fast Exact Computation of Expected HyperVolume Improvement

Guang Zhao, Raymundo Arróyave+1 more|arXiv (Cornell University)|Dec 18, 2018

VLSI and Analog Circuit Testing参考文献 22被引用数 14

ひとこと要約

本稿では、多目的ベイズ最適化における期待ハイパーサイズ改善（EHVI）を計算するための3つの新しい正確なアルゴリズムを提案する。分解されたハイパーキューブにおいて閉形式の積分計算を活用することで、顕著な高速化を達成する。CLMに基づくアルゴリズムはm=3の場合にΘ(n log n)の計算量を達成するが、WFGに基づく手法はm>3の場合に100倍以上の高速化を実現し、材料発見のような高価な設計空間における実用的なベイズ最適化を可能にする。

ABSTRACT

In multi-objective Bayesian optimization and surrogate-based evolutionary algorithms, Expected HyperVolume Improvement (EHVI) is widely used as the acquisition function to guide the search approaching the Pareto front. This paper focuses on the exact calculation of EHVI given a nondominated set, for which the existing exact algorithms are complex and can be inefficient for problems with more than three objectives. Integrating with different decomposition algorithms, we propose a new method for calculating the integral in each decomposed high-dimensional box in constant time. We develop three new exact EHVI calculation algorithms based on three region decomposition methods. The first grid-based algorithm has a complexity of $O(m\cdot n^m)$ with $n$ denoting the size of the nondominated set and $m$ the number of objectives. The Walking Fish Group (WFG)-based algorithm has a worst-case complexity of $O(m\cdot 2^n)$ but has a better average performance. These two can be applied for problems with any $m$. The third CLM-based algorithm is only for $m=3$ and asymptotically optimal with complexity $Θ(n\log{n})$. Performance comparison results show that all our three algorithms are at least twice faster than the state-of-the-art algorithms with the same decomposition methods. When $m>3$, our WFG-based algorithm can be over $10^2$ faster than the corresponding existing algorithms. Our algorithm is demonstrated in an example involving efficient multi-objective material design with Bayesian optimization.

研究の動機と目的

• 高次元多目的最適化における正確なEHVI計算の計算非効率性を解消すること、特にm > 3の場合に焦点を当てる。
• 異なるハイパーサイズ分解手法にわたって、EHVI積分を正確かつ効率的に計算する統一フレームワークを構築すること。
• データが乏しく、シミュレーションが重い分野（例：材料科学）における実用的でリアルタイムなベイズ実験設計を可能にすること。
• 既存の最先端アルゴリズムと比較して、漸近的に最適または顕著に改善された時間計算量を達成すること。
• ベイズ最適化を用いた自律的材料発見の加速効果を実証すること。

提案手法

• 各分解されたハイパーキューブ内での被積分関数に対して、定数時間で評価可能な閉形式積分表現を導出する。
• 新規の閉形式積分を、グリッドベース、WFGベース、CLMベースの3つの異なるハイパーサイズ分解手法と統合する。
• 任意の目的変数の数mに対して適用可能な、O(m·n^m)の計算量を持つグリッドベースのアルゴリズムを実装する。
• 最悪計算量がO(m·2^n)であるが、平均的には優れた性能を示すWFGベースのアルゴリズムを提案し、任意のmに適用可能である。
• m=3の目的変数に特化したCLMベースのアルゴリズムを提案し、漸近的に最適なΘ(n log n)の計算量を達成する。
• ガウス過程の代理モデルと全探索的EHVI最大化を用いて、多目的材料設計のための逐次的ベイズ最適化パイプラインにアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 各分解されたハイパーキューブ内での被積分関数に対して閉形式表現を導出することで、正確なEHVI計算の高速化を達成できるか？
• RQ2 異なる分解戦略において、提案手法が既存の最先端EHVIアルゴリズムと比較して性能と計算量の面でどのように差をつけるか？
• RQ3 提案されたアルゴリズムは、m=3を超える問題に対しても効率的にスケーリング可能か？かつ、従来の手法が非現実的となる領域に対しても有効か？
• RQ4 新規のEHVI計算フレームワークにより、材料発見のような高価で多目的な設計空間において、実用的でリアルタイムのベイズ最適化が可能になるか？
• RQ5 新規EHVI計算が、ランダムサンプリングと比較してベイズ最適化の収束性と性能に与える影響は何か？

主な発見

• 提案されたCLMベースのアルゴリズムは、m=3の場合にΘ(n log n)の時間計算量を達成し、従来の特殊化された手法と同等の漸近的最適性を実現するが、より汎用的なフレームワークを提供する。
• WFGベースのアルゴリズムは、m > 3の場合に、既存の手法と比較してEHVI計算時間を2桁以上短縮（100倍以上）した。
• 提案された3つのアルゴリズムすべてが、同じ分解手法を用いた既存の最先端手法と比較して、少なくとも2倍以上高速である。
• 実世界のニチトニウム形状記憶合金の設計タスクでは、CLMベースのアルゴリズムにより、全探索的EHVI探索の所要時間を1時間以上から1回の反復あたり数秒未塔に短縮した。
• 新規EHVIアルゴリズムを用いたベイズ最適化は、ランダムサンプリングと比較して、パレート最適解に著しく速く収束し、20回の初期サンプル後には支配ハイパーサイズが急速に向上した。
• 本フレームワークは、データが乏しくシミュレーションが重い分野において、効率的で自律的かつ頑健な実験設計を可能にし、材料科学を越えて広範な応用が可能である。