[論文レビュー] Numerical Gaussian Processes for Time-dependent and Non-linear Partial Differential Equations

Maziar Raissi, Paris Perdikaris+1 more|arXiv (Cornell University)|Mar 29, 2017

Gaussian Processes and Bayesian Inference参考文献 17被引用数 16

ひとこと要約

本稿では、時間に依存する非線形偏微分方程式（PDE）の時間離散化によって構造化された数値ガウス過程—ガウス過程の事前分布を用いて、初期データにノイズが含まれる場合の解における不確実性の定量化を可能にする—を導入する。オイラー法やルンゲ＝クッタ法などの数値スキームを介して物理法則を共分散構造に直接埋め込むことで、不確実性を定量化する確率的解が得られ、長時間にわたる積分において2次精度と安定した誤差伝播を達成する。

ABSTRACT

We introduce the concept of numerical Gaussian processes, which we define as Gaussian processes with covariance functions resulting from temporal discretization of time-dependent partial differential equations. Numerical Gaussian processes, by construction, are designed to deal with cases where: (1) all we observe are noisy data on black-box initial conditions, and (2) we are interested in quantifying the uncertainty associated with such noisy data in our solutions to time-dependent partial differential equations. Our method circumvents the need for spatial discretization of the differential operators by proper placement of Gaussian process priors. This is an attempt to construct structured and data-efficient learning machines, which are explicitly informed by the underlying physics that possibly generated the observed data. The effectiveness of the proposed approach is demonstrated through several benchmark problems involving linear and nonlinear time-dependent operators. In all examples, we are able to recover accurate approximations of the latent solutions, and consistently propagate uncertainty, even in cases involving very long time integration.

研究の動機と目的

• PDEから得られる物理法則を構造的事前情報として機械学習モデルに組み込むことで、データ効率的な学習フレームワークを構築すること。
• 初期データや境界データにノイズが含まれる場合の、時間に依存する非線形PDEの解における不確実性の定量化と伝播を実現すること。
• 時間ステッピングスキームから導かれる共分散関数を有するガウス過程を構築することで、古典的数値解析とベイズ推論を統合すること。
• 微分作用素の空間的離散化を回避することで、物理的整合性を保ちつつPDEの確率的解を可能にすること。
• ノイズのある観測値や長時間積分を自然に扱える不確実性に配慮した数値手法の基盤を確立すること。

提案手法

• 本手法は、過去の時間ステップにおける解のガウス過程事前分布を定義し、オイラー法やルンゲ＝クッタ法などの時間離散化スキームから導かれる共分散関数を用いる。
• 連続する時間ステップにおける解状態の同時分布は、マルチ出力ガウス過程を形成し、その共分散関数が数値的時間ステッピング則を符号化する。
• 得られる数値ガウス過程は、PDE作用素と時間積分スキームをカーネル構造に明示的に埋め込み、物理的整合性を保証する。
• 空間的離散化を回避するため、解関数に直接事前分布を設定することで、非パラメトリックなベイズ推論を可能にする。
• ガウス過程回帰を用いて事後平均と分散を計算し、予測と不確実性推定の両方を提供する。
• 既知の数値スキームを活用することで、個別の事例に応じて同じ原則を非線形PDEへと拡張する。

実験結果

リサーチクエスチョン

• RQ1 PDEに符号化された物理法則を、機械学習モデルにおける構造的事前分布として体系的かつ一貫して埋め込む方法は何か？
• RQ2 数値的時間積分スキームを、不確実性定量化を可能にする確率的枠組みにおける共分散関数として再解釈することは可能か？
• RQ3 初期データにノイズが含まれる場合、提案手法は長時間積分にわたって不確実性をどのように伝播させるか？
• RQ4 古典的手法と比較して、得られる数値ガウス過程の収束特性と精度はいかほどか？
• RQ5 このフレームワークは非線形かつ時間に依存するPDEへと一般化可能であり、安定性と精度を維持できるか？

主な発見

• ルンゲ＝クッタ版の台形則を用いる場合、熱方程式に対して相対L²誤差で2次時間収束を達成する。
• 初期データ点および人工データ点の数を増やすことで、相対的空間L²誤差が減少し、データ効率性とロバストネスが示された。
• ノイズのある初期データが存在する場合でも、長時間積分にわたって不確実性が適切に伝播され、一貫した事後分散推定が維持された。
• 線形および非線形PDEを含むすべてのベンチマーク問題において、潜在的解の正確な近似が復元された。
• データが不足する状況やノイズのある観測値が存在する状況において、古典的手法よりも優れた性能を示し、完全な事後分布を提供した。
• 空間的および時間的収束の検証を通じて、最適な収束レートを示し、長時間シミュレーションにおいても安定性を維持した。