[論文レビュー] Linearly Constrained Gaussian Processes with Boundary Conditions

Markus Lange‐Hegermann|arXiv (Cornell University)|Feb 3, 2020

Gaussian Processes and Bayesian Inference参考文献 71被引用数 6

ひとこと要約

本稿では、グレブナー基底を用いて、線形偏微分方程式系および関連する境界条件を厳密に満たす、正確でアルゴリズム的な多出力ガウス過程事前分布を構築する手法を提示する。微分方程式の解空間と境界条件の多様体のパrametrizationをプルバックによって組み合わせることで、すべての実現値および事後平均が正確に解となることが保証され、物理法則と境界データが事前分布から完全に統合された、近似を含まない完全なベイズ回帰が可能になる。

ABSTRACT

One goal in Bayesian machine learning is to encode prior knowledge into prior distributions, to model data efficiently. We consider prior knowledge from systems of linear partial differential equations together with their boundary conditions. We construct multi-output Gaussian process priors with realizations in the solution set of such systems, in particular only such solutions can be represented by Gaussian process regression. The construction is fully algorithmic via Gröbner bases and it does not employ any approximation. It builds these priors combining two parametrizations via a pullback: the first parametrizes the solutions for the system of differential equations and the second parametrizes all functions adhering to the boundary conditions.

研究の動機と目的

• 線形偏微分方程式および境界条件をガウス過程事前分布に完全に組み込む、記号的かつ正確な手法の開発。
• すべての関数の実現値および事後平均が、微分方程式系と境界制約の両方を厳密に満たすことを保証すること。
• 代数的系理論とグレブナー基底を用いることで、既存のPDE制約付きGP手法に共通する近似誤差を排除すること。
• 物理法則、境界データ、およびスパarsな観測値を1つの整合的な確率的枠組みに統合することで、ワンショット学習を可能にすること。
• 標準的なGP回帰と互換性があり、記号的計算によって完全に再現可能な、一般化されたアルゴリズム的構築を提供すること。

提案手法

• 本手法は、有理数または定数係数をもつ線形PDE系の解空間を記号的にパラメータ化するためにグレブナー基底を用いる。
• 境界条件を満たす関数を、多項式イデアルの零点集合を用いて別個にパラメータ化する。
• これらの2つのパラメータ化をプルバック構成によって組み合わせることで、全PDE-境界値問題の解であることが保証された新しいガウス過程事前分布を定義する。
• 共分散構造は、基本共分散関数（例：平方指数）にパラメータ化写像を適用することで導出され、滑らかさと確率的構造が保持される。
• この構築は完全にアルゴリズム的かつ正確であり、数値近似や正則化を一切用いない。
• 本手法は、1つまたは2つのデータポイントでの玩具的例題に対して実証され、正確な解の適合と不確実性の定量化が示された。

実験結果

リサーチクエスチョン

• RQ1 与えられた線形PDE系および関連する境界条件を厳密に満たすガウス過程事前分布を構築することは可能か？
• RQ2 数値的近似を用いずに、記号的代数的手法によってこのような事前分布を構築することは可能か？
• RQ3 無限次元のデータであるPDEの境界条件を、正確性を保ったままGPフレームワークに統合する方法は何か？
• RQ4 得られたGP事前分布は、最小限のデータで効果的にワンショット学習に利用できるか？
• RQ5 グレブナー基底は、PDE制約付きGP事前分布の完全なアルゴリズム的かつ正確な構築を可能にする役割を果たすか？

主な発見

• 提案手法は、与えられた線形PDE系および境界条件の正確な解であることが保証されたガウス過程事前分布を構築する。
• この構築は正確であり、あらゆる近似、数値的離散化、または事後正則化に依存しない。
• 本手法はグレブナー基底を用いてPDEの解空間および境界条件多様体の両方を記号的にパラメータ化し、プルバックに基づく構築を可能にする。
• 本手法は非定常的で多出力のGPをサポートし、物理法則、境界データ、観測データを1つのベイズ的枠組みに統合する。
• 本手法は、1つまたは2つのデータポイントでの例題に対して実証され、事後平均関数がPDEおよび境界条件を正確に満たしていることが示された。
• 再現性のためのコードとデータは付録に提供されており、結果の完全な再現が可能である。