[論文レビュー] A semigroup method for high dimensional committor functions based on neural network

Haoya Li, Yuehaw Khoo+2 more|arXiv (Cornell University)|Dec 12, 2020

Model Reduction and Neural Networks参考文献 18被引用数 11

ひとこと要約

本稿では、Fokker-Planck方程式に従う高次元のコミットメント関数を計算するための、新しい半群に基づくニューラルネットワーク手法を提案する。Fokker-Planck作用素の半群を用いて問題を再定式化することにより、2階微分の計算を回避し、境界条件を自然に取り入れることができる。これにより、従来の手法と比較してペナルティパラメータへの感受性が低く、勾配降下法による効率的で安定した学習が可能になる。

ABSTRACT

This paper proposes a new method based on neural networks for computing the high-dimensional committor functions that satisfy Fokker-Planck equations. Instead of working with partial differential equations, the new method works with an integral formulation based on the semigroup of the differential operator. The variational form of the new formulation is then solved by parameterizing the committor function as a neural network. There are two major benefits of this new approach. First, stochastic gradient descent type algorithms can be applied in the training of the committor function without the need of computing any mixed second-order derivatives. Moreover, unlike the previous methods that enforce the boundary conditions through penalty terms, the new method takes into account the boundary conditions automatically. Numerical results are provided to demonstrate the performance of the proposed method.

研究の動機と目的

• 確率的系におけるレア遷移事象の高次元コミットメント関数を計算する際の次元の呪いに対処すること。
• コミットメント関数のニューラルネットワーク学習において、混合2階微分の計算を回避すること。
• ペナルティ項に依存せずに境界条件を自然に組み込むことにより、学習の安定性を向上させること。
• 高次元におけるFokker-Planck方程式をニューラルネットワークを用いて数値的に効率的かつスケーラブルに解く手法を開発すること。
• ハイパーパramータのチューニングに感受性が高く、不安定な既存のペナルティベース手法の代替手段を提供すること。

提案手法

• 無限小生成作用素の半群を用いてFokker-Planck方程式を再定式化し、積分方程式の形に変換する。
• 積分方程式の変分形式を、コミットメント関数を深層ニューラルネットワークでパラメータ化することで解く。
• 境界条件は半群の定式化に自然に組み込まれるため、ペナルティ項の必要がなくなる。
• 2階微分の明示的計算を避けるために、損失関数に対して直接確率的勾配降下法を適用する。
• 損失関数に含まれる積分は、元の確率過程からのモンテカルロサンプリングにより近似する。
• 本手法はラージトレーニング領域で収束することが示され、学習の安定性が保証される。

実験結果

リサーチクエスチョン

• RQ1 高次元のコミットメント関数に対して、PDEに基づく手法の代わりに半群に基づく積分形式を用いることは可能か？
• RQ2 ペナルティ項を用いずに、ニューラルネットワークのパラメータ化において境界条件を自然に取り入れることは可能か？
• RQ3 2階微分の計算を排除することで、高次元設定における学習の効率性と安定性が向上するか？
• RQ4 本手法はペナルティベース手法と比較して、収束性およびハイパーパramータへの感受性において優れているか？
• RQ5 正確な解が得られない高次元系において、本手法は精度を維持できるか？

主な発見

• 境界条件のペナルティ項に依存せず、ハイパーパramータの感受性が低く、安定した学習が達成された。
• 2階微分の明示的計算を回避したため、学習プロセスが簡素化され、計算効率が向上した。
• Ginzburg-Landauモデルにおける数値結果から、1/2等高線面上からの遷移確率の分布が、平均0.5、分散1/400の正規分布と整合することが確認された。
• 1/2等高線面に近い120個の初期点から得られた遷移確率の実測確率密度関数とQ-Qプロットは、理論的な正規分布（平均0.5、分散1/400）とよく一致した。
• 異なる温度（T=20およびT=30）においても本手法は頑健な性能を示し、準安定系における信頼性を裏付けた。
• 本手法は、確率的解釈を持つ他の高次元PDEに対しても一般化可能である。