[論文レビュー] Solving and Learning Nonlinear PDEs with Gaussian Processes

Yifan Chen, Bamdad Hosseini+2 more|arXiv (Cornell University)|Mar 24, 2021

Gaussian Processes and Bayesian Inference参考文献 82被引用数 21

ひとこと要約

本稿では、非線形PDEおよび逆問題を解くための新しいガウス過程フレームワークを提案する。解をガウス過程事前分布下での最大後確信度推定（MAP推定）として定式化し、コロケーション点を介した制約を課す。微分変数を用いた有限次元還元により、証明可能な収束性と計算効率を達成し、メッシュフリーな多様なPDEの解法を可能にするとともに、保証された誤差境界と低反復回数（2–10）を実現する。

ABSTRACT

We introduce a simple, rigorous, and unified framework for solving nonlinear partial differential equations (PDEs), and for solving inverse problems (IPs) involving the identification of parameters in PDEs, using the framework of Gaussian processes. The proposed approach: (1) provides a natural generalization of collocation kernel methods to nonlinear PDEs and IPs; (2) has guaranteed convergence for a very general class of PDEs, and comes equipped with a path to compute error bounds for specific PDE approximations; (3) inherits the state-of-the-art computational complexity of linear solvers for dense kernel matrices. The main idea of our method is to approximate the solution of a given PDE as the maximum a posteriori (MAP) estimator of a Gaussian process conditioned on solving the PDE at a finite number of collocation points. Although this optimization problem is infinite-dimensional, it can be reduced to a finite-dimensional one by introducing additional variables corresponding to the values of the derivatives of the solution at collocation points; this generalizes the representer theorem arising in Gaussian process regression. The reduced optimization problem has the form of a quadratic objective function subject to nonlinear constraints; it is solved with a variant of the Gauss--Newton method. The resulting algorithm (a) can be interpreted as solving successive linearizations of the nonlinear PDE, and (b) in practice is found to converge in a small number of iterations (2 to 10), for a wide range of PDEs. Most traditional approaches to IPs interleave parameter updates with numerical solution of the PDE; our algorithm solves for both parameter and PDE solution simultaneously. Experiments on nonlinear elliptic PDEs, Burgers' equation, a regularized Eikonal equation, and an IP for permeability identification in Darcy flow illustrate the efficacy and scope of our framework.

研究の動機と目的

• 非線形PDEおよび逆問題を解くための統一的かつ理論的裏付けのあるフレームワークの構築。
• 核コロケーション法を非線形PDEに一般化しつつ、収束保証と計算効率を維持する。
• 一つの最適化フレームワーク内でPDEの同時解法と逆問題における未知パラメータの同定を可能にする。
• 提案されたGPベースのアプローチを用いて、PDE近似の厳密な誤差境界を計算する道筋を提供する。
• 密な核行列の解法の計算効率を活用しつつ、非線形問題に対して最新の複雑度を維持する。

提案手法

• 非線形PDEの解を、有限個のコロケーション点でPDEを満たす条件の下でのガウス過程のMAP推定として定式化する。
• コロケーション点における解および微分値の変数を導入することで、無限次元最適化問題を有限次元問題に還元し、代表定理を一般化する。
• PDEおよび境界条件から導かれる非線形制約を有する二次的目的関数を構築し、ガウス・ニュートンの変種を用いて解く。
• アルゴリズムを非線形PDEの逐次線形化の解法として解釈し、多様な問題において2–10回の反復で高速収束を実現する。
• 得られたGP近似を用いて、双対空間および埋め込み不等式を活用し、解の正則性とコロケーション点の充填距離を考慮して誤差境界を計算する。
• 最大尤度推定（MLE）、MAP、または交差検証を用いたカーネル学習を可能にし、不規則または非線形なPDEに対して精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程フレームワークを、証明可能な収束性と誤差制御を伴う非線形PDEに厳密に拡張可能か？
• RQ2 非線形PDEの解法と逆問題における未知パラメータの同定を、確率的枠組み内で同時に最適化できるか？
• RQ3 GPベースのコロケーションを用いた非線形PDEの解法の計算複雑度は何か？また、密な核行列の線形ソルバーと同等の性能を達成できるか？
• RQ4 カーネルの選択と解の正則性は、GPベースPDEソルバーの精度と収束にどのように影響するか？
• RQ5 計算効率と理論的保証を維持したまま、非ガウス事前分布への一般化は可能か？

主な発見

• 提案手法は、非常に広範な非線形PDEクラスに対して収束を達成し、収束速度はコロケーション点の充填距離と解のソボレフ正則性によって上限が与えられる。
• 非線形楕円型方程式、バーガーズ方程式、正則化されたアイケオナル方程式を含む多様なPDEにおいて、2～10回の反復で収束する。
• 双対空間および埋め込み不等式を用いた誤差境界が導出され、近似誤差が $ O(h^s) $ として減少することが示され、$ h $ は充填距離、$ s $ は解のソボレフノルムに関連する。
• 状態の最新ソルバーの密な核行列の計算複雑度を引き継ぎ、大規模問題の効率的解法を可能にする。
• MLE、MAP、または交差検証によるカーネル学習は実現可能であり、特に不規則な解や非線形PDEに対して精度を向上させる。
• 非ガウス事前分布への自然な拡張が、ガウス過程の非線形変換を通じて可能となり、複雑な事前分布を有するベイズ逆問題の新たな手法を可能にする。