[論文レビュー] Self-Consistency of the Fokker-Planck Equation

Zebang Shen, Zhenfu Wang+4 more|arXiv (Cornell University)|Jun 2, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、Fokker-Planck方程式（FPE）を駆動する速度場を自己整合性原理を用いて学習する手法を提案する。真の速度場は、FPEから導かれる変換の不動点として特徴づけられる。自己整合性からの逸脱を測る新しいポテンシャル関数を最小化することで、生成された密度軌道がWasserstein-2の意味で真のFPE解に収束することを保証する。ニューラルODEによるパrameterizationにより効率的な学習が可能であり、非負性と単位質量が保証される。

ABSTRACT

The Fokker-Planck equation (FPE) is the partial differential equation that governs the density evolution of the Itô process and is of great importance to the literature of statistical physics and machine learning. The FPE can be regarded as a continuity equation where the change of the density is completely determined by a time varying velocity field. Importantly, this velocity field also depends on the current density function. As a result, the ground-truth velocity field can be shown to be the solution of a fixed-point equation, a property that we call self-consistency. In this paper, we exploit this concept to design a potential function of the hypothesis velocity fields, and prove that, if such a function diminishes to zero during the training procedure, the trajectory of the densities generated by the hypothesis velocity fields converges to the solution of the FPE in the Wasserstein-2 sense. The proposed potential function is amenable to neural-network based parameterization as the stochastic gradient with respect to the parameter can be efficiently computed. Once a parameterized model, such as Neural Ordinary Differential Equation is trained, we can generate the entire trajectory to the FPE.

研究の動機と目的

• Fokker-Planck方程式（FPE）を解く挑戦に、密度を直接学習する代わりにその背後にある速度場を学習することにより対処すること。
• FPEの自己整合性特性に基づく速度場学習の理論的基盤を確立すること。
• 仮説速度場がFPEの不動点条件をどの程度満たしているかを測る微分可能でないポテンシャル関数を設計すること。
• このポテンシャル関数を用いて速度場を学習することで、Wasserstein-2の意味で真のFPE密度解に収束する解が得られることを保証すること。
• ニューラルODEによる速度場のパrameterizationを可能とし、勾配計算を効率的に行い、非負性と単位質量といった物理的性質を保証すること。

提案手法

• 仮説速度場 f から、f による押し出しによって得られる速度場を導出する速度場整合性変換 𝒜[f] を定義する。
• 自己整合性の逸脱を測るため、δ = f − 𝒜[f] の時間平均L²ソボレフノルムとして自己整合性ポテンシャル R(f) を導入する。
• R(fₙ) → 0 が n → ∞ のとき成り立つならば、f∞ によって生成される密度軌道がWasserstein-2の意味で真のFPE解に収束することを証明する。
• 速度場をニューラルODE fθ としてパrameterizeすることで、連続的かつフローに基づく全密度軌道の生成を可能にする。
• 随伴感度法を用いて、R(fθ) のθに関する効率的な確率的勾配を導出し、エンドツーエンドの学習を可能にする。
• 構築の段階で物理的整合性を保証する：得られる密度は非負であり、かつ1に積分される。これは、従来のFPEに対する深層学習手法とは異なり、物理的制約を満たす。

実験結果

リサーチクエスチョン

• RQ1 Fokker-Planck方程式の解は、密度を直接学習する代わりに、その背後にある速度場を学習することで回復可能か？
• RQ2 速度場を学習することで真のFPE解に収束するための理論的条件は何か？
• RQ3 仮説速度場の自己整合性を測る微分可能なポテンシャル関数をどのように構築できるか？
• RQ4 ニューラルネットワークによる速度場のパrameterizationに対して、このポテンシャルの勾配を効率的に計算できるか？
• RQ5 このポテンシャルに基づく学習によって、非負性と単位質量といった密度の基本的物理的性質が保持されるか？

主な発見

• Fokker-Planck方程式の自己整合性は、真の速度場 f* が f* = 𝒜[f*] を満たす不動点条件として形式化される。
• 自己整合性の違反度を測るため、f − 𝒜[f] の時間平均ソボレフノルムとしてポテンシャル関数 R(f) が構築される。
• R(fₙ) → 0 が n → ∞ のとき成り立つならば、f∞ によって生成される密度はWasserstein-2距離の意味で真のFPE解に収束する。
• fθ がニューラルODEとしてパrameterizedされる場合、ポテンシャル関数 R(fθ) はバックプロパゲーションに適しており、確率的最適化による効率的な学習が可能になる。
• 押し出し構成と周期的境界条件における質量保存の性質のおかげで、得られる密度は非負であり、かつ1に積分されることが保証される。
• 本手法は、物理的制約の保持において従来手法を上回り、学習された速度場から、時間発展する全密度軌道をエンドツーエンドで学習可能である。