[論文レビュー] Gaussian processes with linear operator inequality constraints

Christian Agrell|arXiv (Cornell University)|Jan 10, 2019

Gaussian Processes and Bayesian Inference参考文献 33被引用数 9

ひとこと要約

本稿では、線形作用素不等式制約（例：微分や積分の境界）を満たすガウス過程回帰の手法を提案する。仮想観測を用いて、GPの線形変換（例：導関数や積分）の境界を強制する。このアプローチにより、形状制約付きモデリングが可能となり、正確な事後分布推論と安定した数値的実装が達成され、高リスクな工学的応用における不確実性評価が向上する。

ABSTRACT

This paper presents an approach for constrained Gaussian Process (GP) regression where we assume that a set of linear transformations of the process are bounded. It is motivated by machine learning applications for high-consequence engineering systems, where this kind of information is often made available from phenomenological knowledge. We consider a GP $f$ over functions on $\mathcal{X} \subset \mathbb{R}^{n}$ taking values in $\mathbb{R}$, where the process $\mathcal{L}f$ is still Gaussian when $\mathcal{L}$ is a linear operator. Our goal is to model $f$ under the constraint that realizations of $\mathcal{L}f$ are confined to a convex set of functions. In particular, we require that $a \leq \mathcal{L}f \leq b$, given two functions $a$ and $b$ where $a < b$ pointwise. This formulation provides a consistent way of encoding multiple linear constraints, such as shape-constraints based on e.g. boundedness, monotonicity or convexity. We adopt the approach of using a sufficiently dense set of virtual observation locations where the constraint is required to hold, and derive the exact posterior for a conjugate likelihood. The results needed for stable numerical implementation are derived, together with an efficient sampling scheme for estimating the posterior process.

研究の動機と目的

• 現象論的知識（有界性、単調性、凸性など）を、線形作用素制約を用いてガウス過程回帰に統合する原理的フレームワークの構築。
• GPの変換出力（例：微分や積分）が入力領域全域で指定された境界内に保たれることを保証する。
• 仮想観測位置を用いた不等式制約下での事後分布推論のための数値的に安定で効率的な手法の提供。
• データが乏しい領域において、現実的な不確実性推定が求められるコンピュータ実験や高リスクシステムにおける不確実性評価の支援。
• 観測データに基づいて制約が成り立つ確率を定量化することにより、モデルの説明可能性と反証可能性を支援。

提案手法

• 線形作用素 $\mathcal{L}$ に対して、$a(\mathbf{x}) \leq \mathcal{L}f(\mathbf{x}) \leq b(\mathbf{x})$ の制約の下でGP $f$ をモデル化し、$\mathcal{L}f$ がガウス分布のまま保たれることを保証する。
• 有限個の仮想観測位置 $\{\mathbf{x}_v\}$ を用いて、不等式制約を離散的点で強制し、グローバルな満たしを近似する。
• 共役尤度と仮想観測を用いて、条件付きガウス分布の性質を活用し、制約付きGPの正確な事後分布を導出する。
• 事後分布計算を可能にするために、$\mathcal{L}\mu^v$、$K_{X,X^v}\mathcal{L}^T$、$K_{X^*,X^v}\mathcal{L}^T$、および $\mathcal{L}K_{X^v,X^v}\mathcal{L}^T$ の主要な行列を計算する。
• サンプリングスキームを用いて、事後過程を推定し、候補位置における制約違反確率を計算する。
• 推定された制約違反確率に基づいて、反復的に仮想観測位置を選択し、グローバルな制約満たしを高い確率で達成する。

実験結果

リサーチクエスチョン

• RQ1 微分や積分の境界といった、線形作用素制約を、ガウス過程モデルに一貫して組み込む方法は何か？
• RQ2 線形変換における不等式制約下でのGPの事後分布を効率的かつ数値的に安定して計算する方法は何か？
• RQ3 仮想観測位置をどのように適応的に選択すれば、グローバルな制約満たしを高い確率で達成できるか？
• RQ4 このような制約を組み込むことで、入力領域のデータが乏しい領域における不確実性評価はどの程度向上するか？
• RQ5 観測データに基づいて制約違反の確率を定量化することで、説明可能性とモデルの反証可能性を支援できるか？

主な発見

• 仮想観測を有限個の位置に配置することにより、線形作用素不等式制約下でのGP回帰に対して正確な事後分布推論を実現する。
• 仮想位置において、変換されたプロセス $\mathcal{L}f$ が指定された境界 $[a(\mathbf{x}), b(\mathbf{x})]$ 内に保たれ、グローバルな満たしの確率が高くなる。
• 仮想観測位置の選択アルゴリズムは反復的であり、推定された制約違反確率を最小化するように設計されており、入力領域全体へのカバレッジが向上する。
• 事後平均と共分散は、条件付きガウス分布を用いて明示的に導出され、$\mathcal{L}\mu^v$、$K_{X,X^v}\mathcal{L}^T$、および $\mathcal{L}K_{X^v,X^v}\mathcal{L}^T$ の行列を用いて表現される。
• 合成線形作用素 $\mathcal{L}$ を用いた統一的な定式化により、有界性、単調性、凸性といった複数のタイプの制約をサポートする。
• 必要な共分散および平均項の導出を注意深く行うことで、高次元設定においても実用的な実装が可能となる数値的安定性を達成する。