[論文レビュー] Solving for high dimensional committor functions using neural network with online approximation to derivatives.

Haoya Li, Yuehaw Khoo+2 more|arXiv (Cornell University)|Dec 12, 2020

Model Reduction and Neural Networks参考文献 6被引用数 4

ひとこと要約

本稿では、微分作用素の半群を用いてFokker-Planck方程式を積分形式に再定式化することにより、高次元のコミットメント関数を計算するニューラルネットワークベースの手法を提案する。変分形式はニューラルネットワークによるパrameter化により解かれるため、2階微分を必要としない勾配降下法による学習が可能となり、数値結果は本手法の高次元設定における有効性を確認している。

ABSTRACT

This paper proposes a new method based on neural networks for computing the high-dimensional committor functions that satisfy Fokker-Planck equations. Instead of working with partial differential equations, the new method works with an integral formulation that involves the semigroup of the differential operator. The variational form of the new formulation is then solved by parameterizing the committor function as a neural network. As the main benefit of this new approach, stochastic gradient descent type algorithms can be applied in the training of the committor function without the need of computing any second-order derivatives. Numerical results are provided to demonstrate the performance of the proposed method.

研究の動機と目的

• Fokker-Planck方程式に従う高次元コミットメント関数を解く計算上の課題に対処すること。
• 従来のPDEベースの手法において、2階微分の計算が困難であるという問題を克服すること。
• ニューラルネットワークと変分形式を用いて、高次元系に対してスケーラブルかつ効率的な数値手法を開発すること。
• ヘッセ行列や2階微分の明示的計算を回避することで、コミットメント関数の確率的勾配降下法による学習を可能にすること。

提案手法

• 微分作用素の半群を用いてFokker-Planck方程式を積分方程式に再定式化する。
• コミットメント関数を深層ニューラルネットワークとしてパrameter化することで、柔軟な関数近似を可能にする。
• 積分方程式から変分形式を導出し、勾配ベースの最適化が可能になるようにする。
• 2階微分の計算を必要としないため、確率的勾配降下法を用いてニューラルネットワークのパラメータを学習する。
• 偏微分方程式を直接解くのを避けるために、積分表現とニューラルネットワークによる関数近似を活用する。

実験結果

リサーチクエスチョン

• RQ1 偏微分方程式を直接解かずに、ニューラルネットワークベースの手法が高次元コミットメント関数を効果的に計算できるか。
• RQ2 半群作用素を用いた積分形式が、高次元において安定的かつ正確なコミットメント関数近似を可能にするか。
• RQ3 変分形式により2階微分の計算を回避することで、精度を維持しつつ学習効率を向上させられるか。
• RQ4 本手法は、高次元系において従来のPDEベースの手法と比較して、性能的に優れているか。

主な発見

• 本手法は、偏微分方程式を直接解かずに高次元コミットメント関数を効果的に計算できた。
• 半群に基づく積分形式の使用により、ニューラルネットワーク最適化に適した安定的な変分形式が得られた。
• 学習プロセスにおいて2階微分の必要がないため、確率的勾配降下法が効果的に適用可能であった。
• 数値結果は、本手法の実行可能性と高次元テストケースにおける性能を確認しており、計算上の実現可能性が裏付けられた。