[論文レビュー] Solving for high dimensional committor functions using artificial neural networks

Yuehaw Khoo, Jianfeng Lu+1 more|arXiv (Cornell University)|Feb 28, 2018

Model Reduction and Neural Networks参考文献 13被引用数 15

ひとこと要約

この論文は、確率過程に従う高次元のコミットメント関数を解くために、変分的最適化に基づくフォッカー・プランク方程式を用いたニューラルネットワーク手法を提案している。この手法は、コミットメント関数をニューラルネットワークでパラメータ化し、モンテカルロサンプルを用いた確率的勾配降下法で訓練することで、複雑な高次元系において中程度の精度を達成する。

ABSTRACT

In this note we propose a method based on artificial neural network to study the transition between states governed by stochastic processes. In particular, we aim for numerical schemes for the committor function, the central object of transition path theory, which satisfies a high-dimensional Fokker-Planck equation. By working with the variational formulation of such partial differential equation and parameterizing the committor function in terms of a neural network, approximations can be obtained via optimizing the neural network weights using stochastic algorithms. The numerical examples show that moderate accuracy can be achieved for high-dimensional problems.

研究の動機と目的

• 確率過程における高次元のフォッカー・プランク方程式を解く際の計算的非実行性を克服すること。
• 高次元の遷移経路理論問題に対して、従来の有限要素法やスペクトル法の代替としてスケーラブルな手法を開発すること。
• ニューラルネットワークをコミットメント関数の低次元パラメータ化に活用し、計算コストを低減すること。
• 学習済みコミットメント関数を用いて遷移領域におけるサンプリング効率を向上させること。

提案手法

• 可学習パラメータ $ \boldsymbol{\theta} $ を持つニューラルネットワーク $ q_{\boldsymbol{\theta}}(\textbf{x}) $ を用いてコミットメント関数 $ q\left(\textbf{x}\right) $ をパラメータ化する。
• フォッカー・プランク方程式を、$ \boldsymbol{\theta} $ に関するエネルギー汎関数の最小化問題として変分的最適化問題に定式化する。
• モンテカルロサンプルを用いて、変分形式における積分を推定するための確率的勾配降下法を用いる。サンプルは平衡測度から抽出する。
• 特異性（例：$ \log|\textbf{x} - \textbf{y}| $）をニューラルネットワークアーキテクチャに組み込むことで、低温領域における急激な遷移をよりよく捉える。
• 領域 $ A $ および $ B $ における境界条件と、確率的最適化による内部エネルギー最小化を組み合わせてネットワークを訓練する。
• 訓練済みのニューラルネットワークを用いて、データ密度が低い遷移領域における強化サンプリングを誘導する。

実験結果

リサーチクエスチョン

• RQ1 古典的な有限要素法では非実行可能な高次元コミットメント関数を、ニューラルネットワークが効果的に近似できるか？
• RQ2 ネットワークアーキテクチャに物理的特異性を組み込むことで、低温領域における近似精度がどのように向上するか？
• RQ3 サンプリング品質が、とりわけレアイベント遷移領域において、学習済みコミットメント関数に与える影響はどの程度か？
• RQ4 ニューラルネットワークによる近似を用いて、さらなるサンプリングを誘導し、分子動力学シミュレーションにおける収束性を向上させられるか？

主な発見

• 粗いミュラー・ポテンシャルにおいて $ T = 22 $ のとき、$ \Omega \setminus A \cup B $ で 1.5×10⁵ 個のサンプルを用いて中程度の精度（例：$ E_1 = 0.037 $、$ E_2 = 0.036 $）を達成した。
• 低温（$ T = 22 $）ではコミットメント関数がサンプリング密度に敏感になり、正確な近似を得るにはより多くのサンプルが必要となる。
• ネットワークアーキテクチャに明示的な対数特異性を組み込むことで、近似品質が顕著に向上し、特に境界付近および低温領域で顕著である。
• サンプリングが疎な場合、ニューラルネットワーク近似は真値よりも鋭い遷移を生成する傾向があるため、強化サンプリング戦略の導入が求められる。
• 同心円球の例では、特異性を含むネットワークが、特異性を含まない場合に比べ、コミットメント関数のより正確な表現を可能にした。
• 従来の手法が次元の呪いにより失敗する高次元問題に対しても、本手法の実現可能性が示された。