[論文レビュー] Multiobjective optimization using Gaussian process emulators via stepwise uncertainty reduction

Victor Picheny|Oct 2, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 4被引用数 4

ひとこと要約

本稿では、段階的不確実性低減（SUR）によって誘導されるガウス過程エミュレータを用いた、Pareto前沿を効率的に同定するための新しい多目的最適化アルゴリズムを提案する。Pareto前沿における不確実性を、期待不確実性低減の閉形式計算によって最小化することで、シミュレーションや調整パラメータを必要とせずに、探索と活用の間で頑健なバランスを達成する。

ABSTRACT

Optimization of expensive computer models with the help of Gaussian process emulators in now commonplace. However, when several (competing) objectives are considered, choosing an appropriate sampling strategy remains an open question. We present here a new algorithm based on stepwise uncertainty reduction principles to address this issue. Optimization is seen as a sequential reduction of the volume of the excursion sets below the current best solutions, and our sampling strategy chooses the points that give the highest expected reduction. Closed-form formulae are provided to compute the sampling criterion, avoiding the use of cumbersome simulations. We test our method on numerical examples, showing that it provides an efficient trade-off between exploration and intensification.

研究の動機と目的

• 矛盾する目的を有する高コストな多目的最適化問題において、最適なサンプリング点を選択する課題に対処すること。
• ヒューリスティックなインフィル基準に依存せず、Pareto前沿に関する不確実性を低減する統計的に根拠のあるサンプリング戦略の開発。
• パrameterチューニング、階層的目的仮定、モンテカルロシミュレーションへの依存といった、従来手法の限界を克服すること。
• 不確実性低減の閉形式表現を導出することで、シミュレーションに依存するSURアプローチの代替として計算効率の高い代替手法を提供すること。
• 不確実性低減における一貫性と理論的基盤を保ちつつ、ベンチマーク問題において優れた実験的性能を発揮すること。

提案手法

• ガウス過程（GP）エミュレータを用いて、Pareto前沿における不確実性の段階的低減として多目的最適化を形式化する。
• 不確実性の尺度として、現在の最良解以下の超曲線集合の体積を定義し、Pareto前沿同定における曖昧さを表現する。
• 段階的不確実性低減（SUR）を用いて、この不確実性尺度を最大限に低減する次回の評価点を選択する。
• 多次元正規確率と2変量正規累積分布関数 $\boldsymbol{\Phi}_{\rho}^{(k)}$ を用いて、期待不確実性低減の閉形式解析的表現を導出する。
• モンテカルロシミュレーションを用いずに、獲得関数の評価を高速かつ正確に実行可能にする。
• 各新しい観測値の後でGPモデルを更新し、獲得関数を再評価する段階的最適化ループに統合する。

実験結果

リサーチクエスチョン

• RQ1 多目的最適化設定において、Pareto前沿における不確実性を形式的に定量化し、低減することは可能か？
• RQ2 シミュレーションやヒューリスティックなトレードオフに依存せずに、段階的不確実性低減戦略を多目的問題に適応できるか？
• RQ3 多目的GP最適化において、期待不確実性低減を効率的に計算するための閉形式表現を導出できるか？
• RQ4 提案手法のSURベースのアプローチは、既存のインフィル基準と比較して収束速度およびPareto前沿の正確性において優れているか？
• RQ5 高コストブラックボックス最適化において、最先端の手法と比較して、探索と活用のバランスがより優れているか？

主な発見

• 提案手法は、既存のEGO類似手法や期待改善に基づく手法と比較して、Pareto前沿同定の収束速度と正確性において顕著な向上を達成した。
• 期待不確実性低減の閉形式表現を用いることで、計算コストの高いモンテカルロシミュレーションの必要性が排除され、リアルタイム意思決定が可能になった。
• Pareto前沿における不確実性を直接標的とすることで、任意の目的の階層を回避し、多目的最適化における統計的に一貫したフレームワークを提供した。
• 数値実験により、アルゴリズムが探索と強化のバランスを効果的に維持し、ベンチマーク手法と比較してPareto前沿の不確実性をより効率的に低減できることを示した。
• 高次元性や矛盾する目的を有する問題を含む多数のテスト問題において、本手法は頑健な性能を示した。
• $b_{ij}^{(k)}(\mathbf{x})$ および $d_{ij}^{(k)}(\mathbf{x})$ の導出された解析的公式により、標準的な2変量正規累積分布関数を用いて獲得関数を正確に計算可能となり、数値的安定性と計算効率が保証された。