[論文レビュー] Physics Regularized Gaussian Processes.

Zheng Wang, Wei Xing+2 more|arXiv (Cornell University)|Jun 8, 2020

Gaussian Processes and Bayesian Inference参考文献 27被引用数 13

ひとこと要約

本稿では、グリーン関数や制限的なカーネル畳み込みに依存せずに、任意の微分方程式（線形または非線形）をガウス過程に統合するベイジアン枠組みである物理的正則化ガウス過程（PRGP）を提案する。潜在変数を周辺化し、簡略化された変分推論目的関数を導出することで、表現力の高いカーネル（例：ディープカーネル）の有効な使用が可能となり、限られたデータにおける一般化および外挿性能が著しく向上する。

ABSTRACT

We consider incorporating incomplete physics knowledge, expressed as differential equations with latent functions, into Gaussian processes (GPs) to improve their performance, especially for limited data and extrapolation. While existing works have successfully encoded such knowledge via kernel convolution, they only apply to linear equations with analytical Green's functions. The convolution can further restrict us from fusing physics with highly expressive kernels, e.g., deep kernels. To overcome these limitations, we propose Physics Regularized Gaussian Process (PRGP) that can incorporate both linear and nonlinear equations, does not rely on Green's functions, and is free to use arbitrary kernels. Specifically, we integrate the standard GP with a generative model to encode the differential equation in a principled Bayesian hybrid framework. For efficient and effective inference, we marginalize out the latent variables and derive a simplified model evidence lower bound (ELBO), based on which we develop a stochastic collapsed inference algorithm. Our ELBO can be viewed as a posterior regularization objective. We show the advantage of our approach in both simulation and real-world applications.

研究の動機と目的

• 従来の物理情報付きガウス過程手法がグリーン関数に依存しており、線形方程式に限定されるという限界を解消すること。
• カーネル畳み込みの制約なしに、線形および非線形微分方程式をガウス過程に組み込むことを可能にすること。
• 物理情報付きガウス過程モデリングにおいて、表現力の高いカーネル（例：ディープカーネル）の使用を支援すること。
• 潜在変数を周辺化し、扱いやすい証拠下限界（ELBO）を用いた効率的な推論手法を開発すること。

提案手法

• 標準ガウス過程と微分方程式を符号する生成モデルを結合するハイブリッドベイジアンモデルを構築する。
• 原理的なベイジアン正則化アプローチを通じて、微分方程式制約をガウス過程フレームワークに統合する。
• 潜在変数を周辺化することで、簡略化されたモデル証拠下限界（ELBO）を導出する。これにより、効率的な推論が可能になる。
• 導出されたELBOに基づき、モデルパラメータを最適化するための確率的コロールド推論アルゴリズムを開発する。
• ELBOを事後正則化目的関数として定式化し、任意のカーネル関数と物理的知識を柔軟に統合可能にする。
• 解析的グリーン関数への依存を避けることで、線形および非線形方程式の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 グリーン関数に依存せずに、任意の微分方程式（線形または非線形）をガウス過程に組み込むことは可能か？
• RQ2 物理情報付きガウス過程モデルにおいて、ディープカーネルのような表現力の高いカーネルをどのように活用できるか？
• RQ3 物理的制約を保持したまま潜在変数を周辺化する効率的な推論手法を開発することは可能か？
• RQ4 提案された枠組みは、限られたデータ環境下で一般化および外挿性能を向上させるか？

主な発見

• PRGPは、解析的グリーン関数を必要とせず、線形および非線形微分方程式をガウス過程に成功裏に統合した。
• カーネル畳み込みの制約を回避することで、ディープカーネルを含む任意のカーネルの使用を可能にした。
• 導出されたELBOにより、確率的コロールド推論が効率的に行えるようになり、最適化プロセスが著しく簡素化された。
• シミュレーションおよび実世界の応用事例を通じて、限られたデータ下での一般化および外挿性能の向上が実証された。