[論文レビュー] A deep learning method for solving Fokker-Planck equations

Jiayu Zhai, Matthew Dobson+1 more|arXiv (Cornell University)|Dec 19, 2020

Model Reduction and Neural Networks参考文献 11被引用数 9

ひとこと要約

本稿では、Fokker-Planck作用素を損失関数に組み込むことで、解をニューラルネットワークとして表現し、高次元Fokker-Planck方程式を解くメッシュフリーな深層学習手法を提案する。この手法は、10²〜10⁴個の参照点のみを用いることで、データ要件を著しく削減し、ノイズの多いモンテカルロデータに対しても正確な不変測度の近似が可能となり、従来では取り扱えなかった高次元確率的システムの効率的解法を実現する。

ABSTRACT

The time evolution of the probability distribution of a stochastic differential equation follows the Fokker-Planck equation, which usually has an unbounded, high-dimensional domain. Inspired by our early study in \cite{li2018data}, we propose a mesh-free Fokker-Planck solver, in which the solution to the Fokker-Planck equation is now represented by a neural network. The presence of the differential operator in the loss function improves the accuracy of the neural network representation and reduces the the demand of data in the training process. Several high dimensional numerical examples are demonstrated.

研究の動機と目的

• 高次元かつ非有界領域におけるFokker-Planck方程式の数値解法を、従来のPDEソルバが次元の呪いにより失敗する領域でも実現する、メッシュフリーでデータ駆動型の数値ソルバを開発すること。
• Fokker-Planck微分作用素を損失関数に組み込むことで、高精度なシミュレーションデータに依存するのを減らし、ノイズやスパースなデータに対しても頑健な性能を発揮すること。
• 従来のデータ駆動型ソルバを拡張し、制約付き最適化を制約なしのニューラルネットワーク定式化に置き換えることで、高次元におけるスケーラブルな学習を可能とすること。
• 6次元乱流モデルを含む挑戦的な高次元系に対して本手法を検証し、極めて少ない参照データで不変確率測度を正確に近似できることを示すこと。

提案手法

• 高次元状態空間における確率密度関数を直接パrameterizingする深層ニューラルネットワークとして、定常Fokker-Planck方程式の解を表現する。
• 損失関数に参照モンテカルロサンプルのデータ適合性と、Fokker-Planck作用素を強制する物理に基づいた項を含めた、制約なし最適化問題を定式化する。
• Fokker-Planck微分作用素を損失関数に統合することで、一般化性能を向上させ、ノイズやスパースなトレーニングデータへの感受性を低減する。
• モンテカルロシミュレーションまたは条件付きガウスサンプラーから抽出された参照点を用いて、確率的最適化によりニューラルネットワークを学習し、定義域全体で組み合わせ損失を最小化する。
• 高次元における効率的な確率密度の生成を実現するため、直接モンテカルロ法よりも高速な修正版条件付きガウスサンプラーを用いる。
• 学習済みネットワークを用いて、領域内の任意の点における不変確率密度を予測し、再シミュレーションなしに高速な評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 物理に基づいたニューラルネットワーク損失関数は、高次元Fokker-Planck方程式の解法に必要なデータ量を削減できるか？
• RQ2 損失関数にFokker-Planck作用素を組み込むことで、ノイズやスパースなモンテカルロデータに対する頑健性は向上するか？
• RQ3 メッシュフリーで制約なしのニューラルネットワーク定式化は、高次元設定において従来のグリッドベースのデータ駆動型ソルバを上回る性能を示せるか？
• RQ4 10²〜10⁴個の参照点での学習で、高次元確率的システムの不変測度をどの程度正確に近似できるか？
• RQ5 高次元系において、ニューラルネットワークソルバの精度と計算コストは、直接モンテカルロシミュレーションと比べてどの程度か？

主な発見

• 6次元乱流モデルのような高次元系において、20,000個の参照点のみを用いても、不変確率密度関数の正確な近似が達成された。
• ニューラルネットワークの解は、参照データに空間的に相関のないノイズが存在しても強く耐性を示し、モンテカルロシミュレーションがノイズが多いか低分解能であっても正確な近似を維持した。
• 6次元系では学習時間が1時間未満で収まり、高次元であるにもかかわらず計算効率が優れていることが示された。
• 条件付きガウスサンプラーのおかげで、直接モンテカルロ法と比較してシミュレーション時間を100倍短縮し、データ生成の効率が著しく向上した。
• 中央の2次元スライスにおいて、直接モンテカルロ結果および条件付きガウスサンプラー出力と、ニューラルネットワーク近似がよく一致しており、異なる参照データソースからの解の妥当性が確認された。
• 損失関数にFokker-Planck作用素を組み込むことで、データ要件が削減され、収束性が向上し、最小限の参照データでも効果的な学習が可能になった。