[论文解读] A semigroup method for high dimensional committor functions based on neural network

Haoya Li, Yuehaw Khoo+2 more|arXiv (Cornell University)|Dec 12, 2020

Model Reduction and Neural Networks参考文献 18被引用 11

一句话总结

本文提出了一种基于半群的新型神经网络方法，用于求解由福克-普朗克方程控制的高维传质函数。通过将问题重新表述为福克-普朗克算子的半群，该方法避免了二阶导数的计算，并自然地施加边界条件，从而实现了通过随机梯度下降的高效训练，相比先前方法具有更高的稳定性并降低了对惩罚参数的敏感性。

ABSTRACT

This paper proposes a new method based on neural networks for computing the high-dimensional committor functions that satisfy Fokker-Planck equations. Instead of working with partial differential equations, the new method works with an integral formulation based on the semigroup of the differential operator. The variational form of the new formulation is then solved by parameterizing the committor function as a neural network. There are two major benefits of this new approach. First, stochastic gradient descent type algorithms can be applied in the training of the committor function without the need of computing any mixed second-order derivatives. Moreover, unlike the previous methods that enforce the boundary conditions through penalty terms, the new method takes into account the boundary conditions automatically. Numerical results are provided to demonstrate the performance of the proposed method.

研究动机与目标

• 解决在随机系统中罕见转变事件的高维传质函数计算中的维度灾难问题。
• 消除在传质函数神经网络训练中计算混合二阶导数的需求。
• 无需依赖惩罚项即可自然地嵌入边界条件，从而提高训练稳定性。
• 开发一种数值高效且可扩展的方法，利用神经网络求解高维福克-普朗克方程。
• 为现有对惩罚参数敏感的惩罚基方法提供一种鲁棒的替代方案。

提出的方法

• 通过无穷小生成元的半群重新表述福克-普朗克方程，得到积分方程的表达形式。
• 通过将传质函数参数化为深度神经网络，求解积分方程的变分形式。
• 边界条件在半群表述中自然嵌入，无需使用惩罚项。
• 直接对损失泛函应用随机梯度下降，避免显式计算二阶导数。
• 损失中的积分通过底层随机过程的蒙特卡洛采样近似。
• 该方法在懒惰训练范围内被证明收敛，确保了训练的稳定性。

实验结果

研究问题

• RQ1 基于半群的积分表述能否替代高维传质函数的PDE方法？
• RQ2 在神经网络参数化中，能否在不使用惩罚项的情况下自然施加边界条件？
• RQ3 消除二阶导数的显式计算是否能提高高维设置下的训练效率和稳定性？
• RQ4 与基于惩罚的方法相比，该方法在收敛性和对超参数的敏感性方面表现如何？
• RQ5 在精确解难以求得的高维系统中，该方法能否保持准确性？

主要发现

• 所提出的方法在无需依赖边界条件惩罚项的情况下实现了稳定训练，降低了对超参数的敏感性。
• 该方法避免了显式计算二阶导数，简化了训练过程并提高了计算效率。
• 在Ginzburg-Landau模型上的数值结果表明，从1/2等值面出发的转变概率分布与均值为0.5、方差为1/400的正态分布一致，验证了方法的准确性。
• 从120个靠近1/2等值面的初始点获得的经验概率密度函数（PDF）和Q-Q图与理论正态分布（均值0.5，方差1/400）高度吻合。
• 该方法在不同温度（T=20和T=30）下均表现出稳健性能，表明其在亚稳态系统中的可靠性。
• 该方法可推广至其他具有概率解释的高维PDE。