[論文レビュー] Finite-dimensional approximation of Gaussian processes with inequality constraints

Hassan Maatouk|arXiv (Cornell University)|Jun 6, 2017

Gaussian Processes and Bayesian Inference参考文献 34被引用数 4

ひとこと要約

本稿では、ガウス過程の有限次元近似を提案し、単調性、凸性、有界性といった無限の不等式制約（例：単調性、凸性）を、決定的基底関数と従属するガウス係数の線形結合として過程を表現することにより強制する。この手法は、無限の制約を係数上の有限な凸制約に変換し、切り捨てられたガウス分布を用いた正確なシミュレーションにより、正確に制約を満たすことを可能にする。既存の手法と比較して、より優れた予測精度と不確実性評価を示している。

ABSTRACT

Due to their flexibility, Gaussian processes (GPs) have been widely used in nonparametric function estimation. A prior information about the underlying function is often available. For instance, the physical system (computer model output) may be known to satisfy inequality constraints with respect to some or all inputs. We develop a finite-dimensional approximation of GPs capable of incorporating inequality constraints and noisy observations for computer model emulators. It is based on a linear combination between Gaussian random coefficients and deterministic basis functions. By this methodology , the inequality constraints are respected in the entire domain. The mean and the maximum of the posterior distribution are well defined. A simulation study to show the efficiency and the performance of the proposed model in term of predictive accuracy and uncertainty quantification is included.

研究の動機と目的

• コンピュータ実験におけるガウス過程モデルに、無限の不等式制約（例：単調性、凸性）を計算的に効率よく組み込むための手法を開発すること。
• 得られたガウス過程近似が、離散的な点でのみでなく、入力領域全体にわたり制約を満たすように保証すること。
• 切り捨てられたガウス分布を活用することで、事後平均と最大値が明確に定義されることを確保すること。
• ノイズのある観測値と形状制約の下でも、予測精度と不確実性評価を向上させること。
• 従来の導出制約や射影に基づく手法に代わるスケーラブルな代替手法を提供すること。

提案手法

• ガウス過程は、決定的基底関数とガウス分布に従う係数の線形結合として近似され、パスワイズ収束を保証する。
• 基底関数は、過程における無限の不等式制約が係数ベクトル上の有限な凸制約に対応するように特に選ばれる。
• 条件付き事後分布は、凸集合に制限された切り捨てられたガウスベクトルとして定義され、既知のアルゴリズムを用いて正確なシミュレーションが可能になる。
• 測定誤差を尤度関数に組み込むことで、ノイズのある観測値を扱い、共役性と計算の実行可能性を維持する。
• ハイパーパrameterは交差検証により推定され、制約集合の凸性のおかげで、事後平均と最大値が明確に定義される。
• このアプローチは多次元に一般化可能であり、有界性、単調性、凸性を含むさまざまな制約をサポートする。

実験結果

リサーチクエスチョン

• RQ1 有限次元近似されたガウス過程が、入力領域全体にわたり無限個の不等式制約（例：単調性）を満たすことができるか？
• RQ2 予測精度と不確実性評価の観点から、本手法は既存の制約付きガウス過程アプローチと比較してどのように異なるか？
• RQ3 制約付きガウス過程の事後平均と最大値が明確に定義され、計算的に実行可能であるか？
• RQ4 特に形状制約下で、限られたノイズのある観測値でも、高い予測性能を維持できるか？
• RQ5 核安全性シミュレーションのような複雑な物理的制約を有する実世界の応用において、本手法はどの程度有効であるか？

主な発見

• 有限次元ガウス過程近似に不等式制約を適用した手法は、6つのテスト関数のうち4つにおいて、ガウス過程射影法を上回る平均二乗誤差を達成し、一部のケースではMSEが10倍に低下（例：f1では2.86e-3 vs. 0.04）。
• 実際の核安全性データでは、制約付きモデルがQ²スコア0.98を達成したのに対し、非制約付きガウス過程はQ² = 0.69にとどまった。
• 5つの観測値のみで、制約付きモデルは入力領域全体にわたり単調性を厳密に満たしたが、非制約付きガウス過程ではそのような満たされなかった。
• 係数の制約集合の凸性のおかげで、事後平均と最大値が明確に定義される。
• 1次元および2次元のシミュレーションを通じて、ノイズのある観測値と複雑な制約下でも、本手法は高い予測精度を維持した。
• 基底関数の構築により、無限の不等式制約が係数上の有限次元凸制約に正確に変換され、切り捨てられたガウス分布サンプリングによる効率的なシミュレーションが可能になった。