[論文レビュー] Neural Parametric Fokker-Planck Equations

Shu Liu, Wuchen Li+2 more|arXiv (Cornell University)|Feb 26, 2020

Model Reduction and Neural Networks参考文献 63被引用数 8

ひとこと要約

本稿では、正規化フローなどのニューラル生成モデルによって誘導されるパラメータ多様体上でのKL発散度の$L^2$-ウォッサーシュタイン勾配勾配としてFokker–Planck PDEを定式化することにより、ニューラルパラメトリックFokker–Planck方程式を導入する。この手法により、変分半陰的時間離散化スキームを用いて、グリッドベースの方法に内在する次元の呪いを克服し、サンプリングに基づく、証明可能に収束する高次元Fokker–Planck方程式の数値解法が可能になる。

ABSTRACT

In this paper, we develop and analyze numerical methods for high dimensional Fokker-Planck equations by leveraging generative models from deep learning. Our starting point is a formulation of the Fokker-Planck equation as a system of ordinary differential equations (ODEs) on finite-dimensional parameter space with the parameters inherited from generative models such as normalizing flows. We call such ODEs neural parametric Fokker-Planck equations. The fact that the Fokker-Planck equation can be viewed as the $L^2$-Wasserstein gradient flow of Kullback-Leibler (KL) divergence allows us to derive the ODEs as the constrained $L^2$-Wasserstein gradient flow of KL divergence on the set of probability densities generated by neural networks. For numerical computation, we design a variational semi-implicit scheme for the time discretization of the proposed ODE. Such an algorithm is sampling-based, which can readily handle the Fokker-Planck equations in higher dimensional spaces. Moreover, we also establish bounds for the asymptotic convergence analysis of the neural parametric Fokker-Planck equation as well as the error analysis for both the continuous and discrete versions. Several numerical examples are provided to illustrate the performance of the proposed algorithms and analysis.

研究の動機と目的

• 古典的なグリッドベースの手法における高次元Fokker–Planck方程式の解法における次元の呪いに対処すること。
• Fokker–Planck方程式を深層生成モデルによって誘導される多様体上のパラメータ化されたODE系として再定式化すること。
• 変分半陰的時間離散化を用いて、高次元Fokker–Planck方程式のサンプリングベースで証明可能に収束する数値スキームを開発すること。
• ニューラルパラメトリックFokker–Planck方程式の連続的および離散的バージョンに対して理論的誤差バインディングを確立すること。

提案手法

• ニューラルネットワークが生成する確率密度の空間上で、KL発散度の$L^2$-ウォッサーシュタイン勾配勾配としてFokker–Planck方程式を定式化する。
• 参照密度$p$をニューラルマップ$T_\theta$によってプッシュフォワードすることでパラメータ多様体$\Theta$を定義し、ウォッサーシュタイン距離からプルバック計量$G(\theta)$を誘導する。
• ニューラルパラメトリックFokker–PlanckODEを$\dot{\theta}_t = -G(\theta_t)^{-1}\nabla_\theta H(\theta_t)$として導出する。ここで$H(\theta) = D \cdot \mathcal{D}_{\text{KL}}(T_{\theta\sharp}p \parallel \rho_*)$である。
• ODEを解くために変分半陰的時間離散化スキームを提案し、安定性と収束性を保証する。
• 提案されたスキームの漸近的収束性と離散誤差に対して理論的バインディングを確立する。
• 最適輸送と情報幾何を活用して、Fokker–Planckダイナミクスとパrameter空間の幾何学的構造を結びつける。

実験結果

リサーチクエスチョン

• RQ1 Fokker–Planck方程式は、グリッドベースの離散化を避けるために、ニューラルネットワークによって誘導される多様体上のパラメータ化ODEとして再定式化可能か？
• RQ2 KL発散度の$L^2$-ウォッサーシュタイン勾配勾配は、生成モデルの有限次元パラメータ空間にどのように制約されるか？
• RQ3 得られるODE系に対して、高次元において安定性と収束性を保証する時間離散化スキームは何か？
• RQ4 ニューラルパラメトリックFokker–Planck方程式の連続的および離散的バージョンに対して、どのような理論的誤差バインディングを確立できるか？
• RQ5 正規化フローによって誘導されるパラメータ多様体の幾何的構造は、解の収束性と精度にどのように影響するか？

主な発見

• ニューラルパラメトリックFokker–Planck方程式は、ニューラルネットワークによって誘導されるパラメータ多様体上でのKL発散度の$L^2$-ウォッサーシュタイン勾配勾配として導出され、ODEダイナミクスを用いて高次元解法が可能になる。
• 提案された変分半陰的時間離散化スキームは安定性と収束性を保証し、$|\theta_{k+1} - \theta_k| \to 0$ as $h \to 0^+$を満たし、離散的一致性を保証する。
• グリッドベースの空間離散化を用いずに、サンプリングに基づく計算が可能であり、$d > 3$において次元の呪いを効果的に克服する。
• 理論的解析により、連続ODE系および離散時間スキームの漸近的収束バインディングが確立され、誤差は時間ステップ$h$およびパラメータ多様体の幾何学的構造によって制御される。
• ウォッサーシュタイン多様体上での測地線速度は、フローに沿って一定であり、ポテンシャルが$\lambda$-強く凸である条件下では相対エントロピーの2階微分が$\frac{d^2}{dt^2}\mathcal{H}(\rho_t) \geq \lambda W_2^2(\rho_0, \rho_1)$を満たす。
• 数値例は、正確なサンプリングと安定したダイナミクスを用いて、高次元Fokker–Planck解の近似において本手法の有効性を示している。