[論文レビュー] Solving Inverse Stochastic Problems from Discrete Particle Observations Using the Fokker-Planck Equation and Physics-informed Neural Networks

Xiaoli Chen, Liu Yang+2 more|arXiv (Cornell University)|Aug 24, 2020

Model Reduction and Neural Networks参考文献 19被引用数 11

ひとこと要約

本稿では、初期確率密度関数（PDF）、ストリート項および拡散係数が未知であっても、空間時間における疎な離散的粒子観測からFokker-Planck（FP）方程式を同定し、全確率密度関数（PDF）を再構築する物理学情報付きニューラルネットワーク（PINN）フレームワークを提案する。Kullback-Leibler（KL）ダイバージェンスを用いて粒子データとFP方程式を整合させることで、1〜5次元のブラウン運動およびレヴィノイズにおいて、初期PDFが未知のタイプI（未知の初期PDF）およびストリート項・拡散係数が未知のタイプII（未知のストリート項および拡散係数）の逆問題を、最小限のデータで高精度に解ける。

ABSTRACT

The Fokker-Planck (FP) equation governing the evolution of the probability density function (PDF) is applicable to many disciplines but it requires specification of the coefficients for each case, which can be functions of space-time and not just constants, hence requiring the development of a data-driven modeling approach. When the data available is directly on the PDF, then there exist methods for inverse problems that can be employed to infer the coefficients and thus determine the FP equation and subsequently obtain its solution. Herein, we address a more realistic scenario, where only sparse data are given on the particles' positions at a few time instants, which are not sufficient to accurately construct directly the PDF even at those times from existing methods, e.g., kernel estimation algorithms. To this end, we develop a general framework based on physics-informed neural networks (PINNs) that introduces a new loss function using the Kullback-Leibler divergence to connect the stochastic samples with the FP equation, to simultaneously learn the equation and infer the multi-dimensional PDF at all times. In particular, we consider two types of inverse problems, type I where the FP equation is known but the initial PDF is unknown, and type II in which, in addition to unknown initial PDF, the drift and diffusion terms are also unknown. In both cases, we investigate problems with either Brownian or Levy noise or a combination of both. We demonstrate the new PINN framework in detail in the one-dimensional case (1D) but we also provide results for up to 5D demonstrating that we can infer both the FP equation and} dynamics simultaneously at all times with high accuracy using only very few discrete observations of the particles.

研究の動機と目的

• 直接的なPDF測定が得られないが、少数の時間点でのみ疎で離散的な粒子観測が得られる状況において、逆確率的問題を解く挑戦に応えること。
• 初期PDFが未知であっても、Fokker-Planck方程式の係数（ストリート項および拡散係数）を同時に同定し、全時間発展におけるPDFを再構築するデータ駆動型手法を開発すること。
• 粒子レベルの観測とFP方程式を結びつけるためにKullback-Leiblerダイバージェンスを組み込んだPINNアプローチを拡張し、小規模データからの物理的制約付き学習を可能にすること。
• ブラウン運動および非局所的ダイナミクス（レヴィノイズを含む）を含む多様な確率的過程において、高次元（最大5次元）の設定でも本手法の頑健性と精度を示すこと。
• 計算的に高価な数値積分を回避し、物理法則と観測データをスムーズに統合できる、スケーラブルでグリッドフリーなフレームワークを提供すること。

提案手法

• Fokker-Planck方程式の学習を目的とした物理学情報付きニューラルネットワーク（PINN）を、FP方程式の残差誤差と、観測された粒子サンプルと予測PDF間のKullback-Leibler（KL）ダイバージェンス損失を組み合わせた複合損失関数を最小化するように訓練する。
• KLダイバージェンス損失は変分形式を用いて計算され、粒子位置の経験的分布と予測PDFとの乖離を測定する。これにより、PDFの再構築を必要とせず、直接的にデータと整合させることが可能になる。
• 自動微分を用いて空間時間全域でFP方程式を強制する。これにより、構造化されたグリッドを必要とせず、高次元問題において特に重要となる。
• ストリート項および拡散係数は多項式または深層ニューラルネットワークを用いてパラメータ化され、複雑な非線形ダイナミクスを柔軟かつ適応的にモデル化可能である。
• 非局所的ダイナミクス（レヴィノイズ）の場合、FP方程式に非局所的積分項が含まれ、次元に応じて台形則による近似またはモンテカルロサンプリングが用いられる。
• PDE損失のためのミニバッチによる粒子データおよび残差点のサンプリングを用いることで、大規模データセット（例：1時間スナップショットあたり100,000粒子）でも効率的な最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 疎で離散的な粒子観測のみから、直接的なPDF測定が得られない状況でも、PINNフレームワークは全時間発展におけるPDFの再構築を高精度で行えるか？
• RQ2 少数の時間点での粒子軌道しか入手できない状況で、ストリート項および拡散係数が未知のFokker-Planck方程式において、本手法はそれらをどれほど正確に同定できるか？
• RQ3 特に高次元および非局所的（レヴィ）設定において、KLダイバージェンスに基づく損失は、粒子データとFP方程式の整合性をどれほど高めるか？
• RQ4 1次元から5次元にわたり、最小限のデータで、本手法の精度および効率はどのようにスケーリングするか？
• RQ5 本フレームワークは、ブラウン運動およびレヴィノイズの両方、さらにはそれらの併用効果を含む逆確率的問題に対応できるか？

主な発見

• 1次元および5次元の設定において、1時間スナップショットあたり100,000粒子のサンプルのみで、全PDF発展を高精度に再構築でき、疎な観測でも高い忠実度を達成した。
• タイプIの逆問題（初期PDFが未知）において、PINNフレームワークは正しく初期条件を回復し、テストケースにおいて相対誤差5％未満でその後のPDFダイナミクスを再現できた。
• タイプIIの問題（ストリート項および拡散係数が未知）において、パラメータ推定が正確に行われた。2次元のレヴィノイズでは、推定されたストリート係数が真値と3％以内で一致した（例：λ₁x = 1.0246 vs. 真値1.0）一方、拡散パラメータは5％未満の誤差で回復された。
• 2次元レヴィノイズの状況でストリート項を2つのニューラルネットワークで近似した場合、非線形領域において多項式フィッティングよりも高い精度のパラメータ回復が達成された。
• 3次元および4次元のブラウン運動問題において、本手法は安定した収束を示し、全時間点でのPDF再構築が高精度に達成された。
• KLダイバージェンス損失は、粒子データと予測PDFの整合性を著しく向上させ、特にデータが限られ、ノイズが多い状況で、従来の残差ベースのPINN損失を上回る性能を示した。