[論文レビュー] Interpolating between BSDEs and PINNs: deep learning for elliptic and parabolic boundary value problems

Nikolas Nüsken, Lorenz Richter|arXiv (Cornell University)|Dec 7, 2021

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、高次元の楕円型および放物型PDEを解くために、物理に基づくニューラルネットワーク（PINNs）と深層後向きストキャスティック微分方程式（BSDEs）を統合する、新しい最適化目的関数「拡散損失（diffusion loss）」を提案する。時間パラメータ 𝔷 を調整することで、局所的（PINNに類似）およびグローバル的（BSDEに類似）な近似戦略を統合し、複雑な領域や固有値問題において優れた性能を示す。非線形シュレーディンガー方程式やフォッカー・プランク方程式を含む問題に対しても有効である。

ABSTRACT

Solving high-dimensional partial differential equations is a recurrent challenge in economics, science and engineering. In recent years, a great number of computational approaches have been developed, most of them relying on a combination of Monte Carlo sampling and deep learning based approximation. For elliptic and parabolic problems, existing methods can broadly be classified into those resting on reformulations in terms of $ extit{backward stochastic differential equations}$ (BSDEs) and those aiming to minimize a regression-type $L^2$-error ($ extit{physics-informed neural networks}$, PINNs). In this paper, we review the literature and suggest a methodology based on the novel $ extit{diffusion loss}$ that interpolates between BSDEs and PINNs. Our contribution opens the door towards a unified understanding of numerical approaches for high-dimensional PDEs, as well as for implementations that combine the strengths of BSDEs and PINNs. The diffusion loss furthermore bears close similarities to $ extit{(least squares) temporal difference}$ objectives found in reinforcement learning. We also discuss eigenvalue problems and perform extensive numerical studies, including calculations of the ground state for nonlinear Schrödinger operators and committor functions relevant in molecular dynamics.

研究の動機と目的

• 深層学習を用いた高次元楕円型および放物型PDEの解法における次元の呪いに対処すること。
• PINNsと深層BSDEsという2つの主要な深層学習手法を、共通の最適化フレームワークを通じて統合すること。
• PINNとBSDEの定式化を滑らかに補間する、新たな損失関数（拡散損失）を考案すること。
• 非線形固有値問題や複雑な境界形状を含む挑戦的な問題において、本手法の有効性を実証すること。
• 強化学習における時系列差分学習との関連を調査し、パラメータ依存PDEへのフレームワークの拡張を検討すること。

提案手法

• 補助時間パラメータ 𝔷 を用いて、PINNと深層BSDEの目的関数を連続的に補間する拡散損失 ℒ_diffusion^𝔷 を提案。
• 伊藤の公式から拡散損失を導出し、SDE dX_s = b(X_s,s)dt + σ(X_s,s)dW_s の生成子 L を通じてPDEの解と確率過程を関連づける。
• 𝔷 → 0 の場合、損失はサンプリングされた点におけるPDE残差の局所的ミスフィットに簡略化される（PINNに類似）。
• 𝔷 → ∞ の場合、損失は後向きSDEの終端条件ミスフィットに収束し、深層BSDEの特徴を示す。
• マルコフ連鎖モンテカルロ法とニューラルネットワークを用いて、空間時間領域および境界上で拡散損失を最小化する。
• 損失関数に正規化制約を組み込むことで、固有値問題へのフレームワークの拡張を実現。

実験結果

リサーチクエスチョン

• RQ1 1つの最適化目的関数が、高次元PDEにおけるPINNsと深層BSDEsの長所を統合できるか？
• RQ2 拡散損失は、局所的（PINN）およびグローバル的（BSDE）な近似戦略をどのように補間するか？
• RQ3 補助時間パラメータ 𝔷 が、複雑な領域における収束性と精度に与える影響は何か？
• RQ4 非線形固有値問題（非線形シュレーディンガー方程式など）を、拡散損失が効果的に解けるか？
• RQ5 誤差と安定性の観点から、PINNおよび深層BSDEベースラインと比較して、拡散損失はどのように優れているか？

主な発見

• 拡散損失は、PINNs（𝔷 → 0）と深層BSDEs（𝔷 → ∞）の間を滑らかに補間し、高次元PDEのための包括的フレームワークを実現した。
• d=5 のフォッカー・プランク固有値問題において、主固有関数と固有値を低L^2誤差およびほぼゼロの絶対固有値誤差で近似した。
• d=5 の非線形シュレーディンガー方程式において、10,000回の学習ステップ後に相対固有値誤差が1%未満に抑えられた。
• d=10 においても、次元の増加にかかわらず妥当な精度を維持し、高次元の課題に対してロバストであることを示した。
• 複雑な境界や高階微分を含む領域において、PINNおよび深層BSDEベースラインを上回る性能を示した。
• 時系列差分学習との類似性から、分散低減や適応的重み付けを用いたさらなるアルゴリズム的改善の可能性が示唆された。