[論文レビュー] Convergence Certificate for Stochastic Derivative-Free Trust-Region Methods based on Gaussian Processes

Harsh Shukla, Tafarel de Avila Ferreira+3 more|arXiv (Cornell University)|Oct 2, 2020

Gaussian Processes and Bayesian Inference参考文献 19被引用数 4

ひとこと要約

この論文は、ガウス過程（GPs）が確率的に完全線形であることを証明し、確率的勾配降下フリーの信頼領域法のグローバル収束を可能にしている。GPサロゲートが完全線形であることを証明することで、少ないプラント評価回数で高速かつグローバルに収束する最適化が可能となり、ノイズが多く不確実性の高い動的特性を示す化学反応器のバッチプロセスにおいて実証された。

ABSTRACT

In many machine learning applications, one wants to learn the unknown objective and constraint functions of an optimization problem from available data and then apply some technique to attain a local optimizer of the learned model. This work considers Gaussian processes as global surrogate models and utilizes them in conjunction with derivative-free trust-region methods. It is well known that derivative-free trust-region methods converge globally---provided the surrogate model is probabilistically fully linear. We prove that \glspl{gp} are indeed probabilistically fully linear, thus resulting in fast (compared to linear or quadratic local surrogate models) and global convergence. We draw upon the optimization of a chemical reactor to demonstrate the efficiency of \gls{gp}-based trust-region methods.

研究の動機と目的

• GPに基づく勾配フリー最適化における理論的収束保証の欠如に応えるために、GPの完全線形性を証明する。
• 未知またはノイズのある目的関数に対してGPをサロゲートモデルとして使用する場合に、信頼領域法のグローバル収束を可能にする。
• GPサロゲートの保証された精度を活用することで、実時間最適化における高コストなプラント評価回数を削減する。
• 構造的モデル不一致を伴うノイズが多く不確実性の高い化学バッチプロセスにおいて、本手法の有効性を実証する。
• 確率的で勾配フリーの信頼領域最適化にGPを用いる場合の理論的基盤を提供し、ほとんど確実な収束保証を確立する。

提案手法

• 未知でノイズの多い目的関数および制約関数を近似するため、ガウス過程（GPs）をグローバルなサロゲートモデルとして使用する。
• GPの予測値と不確実性に基づいて信頼領域を段階的に改善する確率的勾配フリー信頼領域法を適用する。
• 信頼領域内での近似誤差の境界を証明することで、GPsが確率的に完全線形であることを証明する。
• 過学習を防ぐために、既存の点から十分に離れた点のみをGPモデルに組み込む。
• 収束を保証するため、適応的半径調整（η、γ_dec、γ_inc、Δ₀に基づく）を用いた信頼領域アルゴリズムを用いる。
• 制約違反をコスト関数にペナルティとして組み込むことで、制約なし最適化に再定式化する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程が形式的に確率的に完全線形であると証明できるか。これは信頼領域法のグローバル収束に必要な重要な要件である。
• RQ2 勾配フリー信頼領域最適化においてGPをグローバルなサロゲートモデルとして使用することで、ローカルモデルと比較して収束が速くなり、関数評価回数が減るか。
• RQ3 実世界の最適化問題において、モデル不一致とノイズの多い測定値が存在する状況でも、GPベースの信頼領域法はどれほど高い性能を発揮するか。
• RQ4 再訓練を再び行わずに、システムのダイナミクスの急激な変化に適応できるか。
• RQ5 GPサロゲートを用いた確率的で勾配フリーの信頼領域最適化において、理論的な収束保証はどのようなものか。

主な発見

• この論文は、ガウス過程が確率的に完全線形であることを証明し、GPを用いた信頼領域法のグローバル収束の理論的基盤を確立した。
• 化学反応器の事例研究において、モデル不一致とノイズが存在するにもかかわらず、わずか3回の反復でほぼプラント最適解に到達した。
• 真の反応機構が仮定されたモデルと異なるScenario IIでは、GPが新しいダイナミクスを学習できるため、モデルベース最適化よりも顕著に優れた性能を発揮した。
• GPモデルは再初期化なしにシステム動作の変化（例：Scenario IからIIへの移行）に素早く適応し、高い性能を維持した。
• ローカルサロゲートモデルと比較して、GPを用いることで信頼領域の反復回数が著しく減少し、高コストなプラント評価回数が削減された。
• 5%の加法的ガウスノイズが存在する状況でも、制約の妥当性を維持し、真のプラント最適解に近い解に収束した。