[論文レビュー] Global Optimization of Gaussian processes
本稿では、ガウス過程（GPs）の決定的グローバル最適化のための低次元空間分枝限定法を提案する。McCormick緩和と一般的な共分散関数および獲得関数（期待改善、確率的改善、下位信頼区間）に特化した包絡線を活用することで、最先端の手法と比較して計算時間を桁違いに短縮し、プロセスシステム工学およびベイズ最適化の応用分野でより大きなデータセットに訓練されたGPsの効率的グローバル最適化を可能にする。
Gaussian processes~(Kriging) are interpolating data-driven models that are frequently applied in various disciplines. Often, Gaussian processes are trained on datasets and are subsequently embedded as surrogate models in optimization problems. These optimization problems are nonconvex and global optimization is desired. However, previous literature observed computational burdens limiting deterministic global optimization to Gaussian processes trained on few data points. We propose a reduced-space formulation for deterministic global optimization with trained Gaussian processes embedded. For optimization, the branch-and-bound solver branches only on the degrees of freedom and McCormick relaxations are propagated through explicit Gaussian process models. The approach also leads to significantly smaller and computationally cheaper subproblems for lower and upper bounding. To further accelerate convergence, we derive envelopes of common covariance functions for GPs and tight relaxations of acquisition functions used in Bayesian optimization including expected improvement, probability of improvement, and lower confidence bound. In total, we reduce computational time by orders of magnitude compared to state-of-the-art methods, thus overcoming previous computational burdens. We demonstrate the performance and scaling of the proposed method and apply it to Bayesian optimization with global optimization of the acquisition function and chance-constrained programming. The Gaussian process models, acquisition functions, and training scripts are available open-source within the "MeLOn - Machine Learning Models for Optimization" toolbox~(https://git.rwth-aachen.de/avt.svt/public/MeLOn).
研究の動機と目的
- 非凸最適化問題に埋め込まれたガウス過程の決定的グローバル最適化にかかる計算負荷を軽減すること。
- 従来の手法が高い計算コストのため小規模データセットに限定されていたGP最適化の制限を克服すること。
- プロセスシステム工学およびベイズ最適化におけるGPベースのモデルの効率的グローバル最適化を可能にすること。
- ベイズ最適化で用いられる主要な獲得関数のためのタイトな緩和を構築し、収束を加速すること。
- 機械学習および最適化分野における産業的・研究的応用を想定したスケーラブルでオープンソースの実装を提供すること。
提案手法
- 分枝限定法における分枝を、GPハイパーパrameterではなく自由度のみに限定する低次元空間での最適化問題の定式化。
- 明示的なGPモデルを経由して不確実性を伝搬するため、McCormick緩和を適用し、分枝限定法中に厳密な境界を保証する。
- 共分散関数（例：平方指数）の一般的なタイプに対してタイトな包絡線を導出することで、緩和の品質を向上させ、部分問題のサイズを削減する。
- 非単調性を考慮した獲得関数（期待改善、確率的改善、下位信頼区間）の凸緩和を構築する。
- 非単調な獲得関数に対して有効でタイトな凸緩和を実現するため、区分的線形下界近似とアフィン外挿法を用いる。
- 低次元空間定式化と特化した緩和を活用する分枝限定フレームワークに統合し、収束を加速する。
実験結果
リサーチクエスチョン
- RQ1これまでに不可能とされてきたより大きなデータセットに対して、ガウス過程の決定的グローバル最適化が計算的に実行可能になるか。
- RQ2ベイズ最適化における非凸獲得関数に対して、タイトで計算効率の良い緩和をどのように構築できるか。
- RQ3低次元空間定式化が、GP埋め込み問題のグローバル最適化のスケーラビリティにどの程度向上をもたらすか。
- RQ4共分散関数および獲得関数に特化した包絡線が、部分問題の複雑さと解法時間の大幅な削減を実現できるか。
- RQ5本手法は、GPモデルに対する最先端のグローバル最適化ソルバーよりも性能とスケーラビリティに優れているか。
主な発見
- 提案手法は、GP埋め込み問題に対する最先端のグローバル最適化アプローチと比較して、計算時間を桁違いに短縮した。
- 低次元空間定式化により、GPハイパーパrameterの分枝を排除することで、部分問題が著しく小さく、計算コストが低減された。
- 一般的な共分散関数および獲得関数（例：期待改善）のためのタイトな包絡線が導出され、緩和の品質と収束速度の向上が実証された。
- 計算負担によるスケーラビリティの制限を克服し、より大きなデータセットに訓練されたGPsの決定的グローバル最適化が可能になった。
- グローバル獲得関数最適化および確率的制約プログラミングへの応用において、実用的なスケーラビリティが示された。
- GPモデル、獲得関数、およびトレーニングスクリプトはMeLOnツールボックス内にてオープンソースとして公開され、再現性と広範な採用を促進している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。