[論文レビュー] Score-Based Physics-Informed Neural Networks for High-Dimensional Fokker-Planck Equations

Zheyuan Hu, Zhongqiang Zhang+2 more|arXiv (Cornell University)|Feb 12, 2024

Model Reduction and Neural Networks被引用数 5

ひとこと要約

スコア関数を学習することで次元の高い Fokker-Planck 方程式の解法を得るスコアベースのソルバーを導入する。Score Matching、Sliced Score Matching、または Score-PINN を用いてスコア関数を学習し、対数尤度 ODE を解いて LL と PDF を取得する。次元の呪いに対処する。

ABSTRACT

The Fokker-Planck (FP) equation is a foundational PDE in stochastic processes. However, curse of dimensionality (CoD) poses challenge when dealing with high-dimensional FP PDEs. Although Monte Carlo and vanilla Physics-Informed Neural Networks (PINNs) have shown the potential to tackle CoD, both methods exhibit numerical errors in high dimensions when dealing with the probability density function (PDF) associated with Brownian motion. The point-wise PDF values tend to decrease exponentially as dimension increases, surpassing the precision of numerical simulations and resulting in substantial errors. Moreover, due to its massive sampling, Monte Carlo fails to offer fast sampling. Modeling the logarithm likelihood (LL) via vanilla PINNs transforms the FP equation into a difficult HJB equation, whose error grows rapidly with dimension. To this end, we propose a novel approach utilizing a score-based solver to fit the score function in SDEs. The score function, defined as the gradient of the LL, plays a fundamental role in inferring LL and PDF and enables fast SDE sampling. Three fitting methods, Score Matching (SM), Sliced SM (SSM), and Score-PINN, are introduced. The proposed score-based SDE solver operates in two stages: first, employing SM, SSM, or Score-PINN to acquire the score; and second, solving the LL via an ODE using the obtained score. Comparative evaluations across these methods showcase varying trade-offs. The proposed method is evaluated across diverse SDEs, including anisotropic OU processes, geometric Brownian, and Brownian with varying eigenspace. We also test various distributions, including Gaussian, Log-normal, Laplace, and Cauchy. The numerical results demonstrate the score-based SDE solver's stability, speed, and performance across different settings, solidifying its potential as a solution to CoD for high-dimensional FP equations.

研究の動機と目的

• 高次元 Fokker-Planck 方程式とブラウン運動の文脈で次元の呪いを克服する必要性を動機づける。
• 対数尤度の勾配（スコア）を用いて LL と PDF を推定するスコアベースのフレームワークを提案する。
• スコア関数を学習するための3つの適合手法（Score Matching、Sliced Score Matching、Score-PINN）を導入する。
• スコア関数を適合させた後、LL ODE を解いて LL/PDF を得るという2段階の解法ワークフローを実演する。

提案手法

• スコア関数 s_t(x) = ∇_x log p_t(x) をモデル化し、LL q_t(x) を推定する役割と高速な SDE サンプリングを可能にすることを示す。
• Score-PINN、Score Matching、または Sliced Score Matching を用いてスコアを適合させ、対応する損失で学習する（Score-PINN 損失には初期項と残差項、SM/SSM 損失）。
• 学習済みのスコアを用いて ∂_t q_t(x) = L[s_t](x,t) の LL ODE を解き、q_t(x) を得て、従って p_t(x) を得る。
• 2段階の手順を用いる：第1段階でスコアを学習し、第2段階で LL ODE を解く（サンプリングのための決定論的 ODE による LL サンプリング）する。
• 計算量、精度、適用性の観点から SM、SSM、Score-PINN を比較する。

実験結果

リサーチクエスチョン

• RQ1 PDF の数値オーバーフローを避けるために、高次元 FP 方程式のスコア関数を効率的に学習するにはどうすればよいか。
• RQ2 精度、速度、次元スケーラビリティの観点で、Score Matching、Sliced Score Matching、および Score-PINN のトレードオフは何か。
• RQ3 学習済みのスコア関数は、PDF を直接モデリングせずに対数尤度と確率密度の正確な推論を可能にするか。
• RQ4 学習済みスコアで LL ODE を解くと、さまざまな SDE と分布でどのように機能するか。
• RQ5 スコアベースのアプローチは、従来の PINN やモンテカルロ法と比べて、高次元 FP 方程式の次元の呪いを克服しますか。

主な発見

• スコアベースの SDE ソルバーは、さまざまな実験設定で安定性、速度、性能を示す。
• SM が最速の手法で、次いで SSM、Score-PINN は計算コストが高いが精度が高い。
• スコアベースのアプローチは、次元に対して線形にスケールする頑健な結果をもたらし、高次元 FP 方程式の CoD に対処する。
• スコアを学習することは、直接的な PDF や LL モデリングに伴う数値オーバーフローの問題を回避する。
• Score-PINN は、より高次の監督性のため、精度の点で一般に SM/SSM を上回るが、計算コストのトレードオフがある。