[論文レビュー] Sparse Cholesky Factorization for Solving Nonlinear PDEs via Gaussian Processes

Yifan Chen, Houman Owhadi+1 more|arXiv (Cornell University)|Apr 3, 2023

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、非線形偏微分方程式（PDE）のガウス過程（GP）ベースの解法に向けたスパースなコレスキー分解アルゴリズムを提案する。この手法は、デルタ関数測定値およびその微分測定値の新規順序付けを用いて、逆カーネル行列における近似的なスパarsityを誘導する。本手法は、$O(N/\log^{d}(N/\rho))$ のメモリ量と $O(N/\log^{2d}(N/\rho))$ の時間計算量を達成し、プリコンディショニング付き共役勾配法を用いた効率的な最適化により、楕円型、バーガース型、モンジュ＝アンペール型の非線形PDEをスケーラブルかつ高精度に解くことが可能となる。

ABSTRACT

In recent years, there has been widespread adoption of machine learning-based approaches to automate the solving of partial differential equations (PDEs). Among these approaches, Gaussian processes (GPs) and kernel methods have garnered considerable interest due to their flexibility, robust theoretical guarantees, and close ties to traditional methods. They can transform the solving of general nonlinear PDEs into solving quadratic optimization problems with nonlinear, PDE-induced constraints. However, the complexity bottleneck lies in computing with dense kernel matrices obtained from pointwise evaluations of the covariance kernel, and its extit{partial derivatives}, a result of the PDE constraint and for which fast algorithms are scarce. The primary goal of this paper is to provide a near-linear complexity algorithm for working with such kernel matrices. We present a sparse Cholesky factorization algorithm for these matrices based on the near-sparsity of the Cholesky factor under a novel ordering of pointwise and derivative measurements. The near-sparsity is rigorously justified by directly connecting the factor to GP regression and exponential decay of basis functions in numerical homogenization. We then employ the Vecchia approximation of GPs, which is optimal in the Kullback-Leibler divergence, to compute the approximate factor. This enables us to compute $ε$-approximate inverse Cholesky factors of the kernel matrices with complexity $O(N\log^d(N/ε))$ in space and $O(N\log^{2d}(N/ε))$ in time. We integrate sparse Cholesky factorizations into optimization algorithms to obtain fast solvers of the nonlinear PDE. We numerically illustrate our algorithm's near-linear space/time complexity for a broad class of nonlinear PDEs such as the nonlinear elliptic, Burgers, and Monge-Ampère equations.

研究の動機と目的

• GPベースのPDEソルバーにおける密行列カーネルの計算ボトル neck を解消すること。これは、$N$ 個のコロケーション点に対して $O(N^3)$ のスケーリングを示す。
• 一般の非線形PDEを解くためのスケーラブルで正確かつ効率的なアルゴリズムの開発。
• 新しい測定順序に基づく、逆カーネル行列のコレスキー因子のスパarsityおよび近似精度の厳密な解析。
• 非線形PDEにおけるガウス＝ノルトゥン法への拡張。この場合、低次元化されたカーネル行列には十分なデルタ関数測定値が不足する。
• 多様な非線形PDE、特に完全非線形型のモンジュ＝アンペール方程式を含む、近似的に線形の計算量と高い精度を実現すること。

提案手法

• デルタ関数および微分測定値の新規順序付けを提案し、逆カーネル行列のコレスキー因子における近似的なスパarsityを誘導する。
• GPにVecchia近似を適用し、Kullback-Leibler発散度において最適であることが証明された。これにより、逆コレスキー因子のスパース近似を計算する。
• KL発散度最小化を用いてスパースコレスキー因子を計算し、Frobeniusノルムにおける指数的収束を示す厳密な誤差バウンドを提示する。
• ガウス＝ノルトゥン反復における低次元化されたカーネル行列に対しては、同じスパース因子をプリコンディショナーとして共役勾配（pCG）ソルバーに適用する。
• モンジュ＝アンペール方程式のような複雑なPDEにおいて、カーネル微分の自動微分を活用し、柔軟性と正確性を確保する。
• スパース因子化を逐次二次計画法およびガウス＝ノルトゥン法と組み合わせることで、スケーラブルで高精度なPDE解法を実現する。

実験結果

リサーチクエスチョン

• RQ1 新規測定順序が、GPベースのPDEソルバーにおける逆カーネル行列のコレスキー因子に近似的なスパarsityを誘導できるか？
• RQ2 その結果得られるVecchia近似の理論的精度は何か？ また、Kullback-Leibler発散度とはどのような関係にあるか？
• RQ3 スパースコレスキー因子化が、一般の非線形PDEに対して $O(N\log^{d}(N/\epsilon))$ のメモリ量および時間計算量を達成できるか？
• RQ4 ガウス＝ノルトゥン反復における低次元化されたカーネル行列に適用した場合、スパarsityの低下が弱い状況でも本手法は有効か？
• RQ5 本アルゴリズムは、モンジュ＝アンペールのような完全非線形型のPDEを含む多様な非線形PDEにおいても、近似的に線形の計算量と高い精度を維持できるか？

主な発見

• 提案されたスパースコレスキー因子化は、$O(N\log^{d}(N/\epsilon))$ のメモリ量と $O(N\log^{2d}(N/\epsilon))$ の時間計算量を達成し、Frobeniusノルムにおける $\epsilon$-精度を実現する。
• 新規順序に基づくVecchia近似は、Kullback-Leibler発散度において最適であり、指数的収束を示す精度を有する。
• バーガース方程式の例では、$N=2000$ 時に $L^2$ 誤差が $6.111 \times 10^{-5}$、$N=4000$ 時に $7.453 \times 10^{-5}$ となり、パラメータを固定したまま高い精度を達成している。
• モンジュ＝アンペール方程式の例では、$L^2$ 誤差が $N_{\text{domain}}$ の増加に伴い減少し、複雑な微分構造にもかかわらず収束が確認された。
• ガウス＝ノルトゥン法は $O(1)$ ステップで収束し、スパース因子をプリコンディショナーとして用いたpCGはほぼ一定の反復回数で収束するため、全体として近似的に線形の計算量が達成された。
• 自動微分によるカーネル微分の処理を必要とするPDEを含め、すべてのテストされたPDEにおいて、CPU時間の観点で近似的に線形スケーリングを示した。