[论文解读] Active Learning Based Sampling for High-Dimensional Nonlinear Partial Differential Equations

Wenhan Gao, Chunmei Wang|arXiv (Cornell University)|Dec 28, 2021

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种基于主动学习的自适应采样方法，以加速基于深度学习的最小二乘法求解高维非线性PDE时的收敛速度。通过迭代选择残差误差较高的训练点——模仿人类学习过程——该方法更高效地降低了误差，在10维问题中最大模误差降低了66%，在20维问题中ℓ₂误差降低了43%，相比基线方法表现更优。

ABSTRACT

The deep-learning-based least squares method has shown successful results in solving high-dimensional non-linear partial differential equations (PDEs). However, this method usually converges slowly. To speed up the convergence of this approach, an active-learning-based sampling algorithm is proposed in this paper. This algorithm actively chooses the most informative training samples from a probability density function based on residual errors to facilitate error reduction. In particular, points with larger residual errors will have more chances of being selected for training. This algorithm imitates the human learning process: learners are likely to spend more time repeatedly studying mistakes than other tasks they have correctly finished. A series of numerical results are illustrated to demonstrate the effectiveness of our active-learning-based sampling in high dimensions to speed up the convergence of the deep-learning-based least squares method.

研究动机与目标

• 解决基于深度学习的最小二乘法在高维非线性PDE中收敛缓慢的问题。
• 克服在高维函数逼近中均匀采样导致的计算效率低下问题。
• 通过聚焦于最具信息量的高误差区域进行训练，提升解的精度与收敛速度。
• 证明所提出的自适应采样策略在多种深度学习PDE框架（DGM、DRM、WAN）中的兼容性。

提出的方法

• 提出一种基于主动学习的采样算法，优先选择残差误差较大的训练点。
• 使用概率密度函数进行采样，其中被选中的可能性与残差误差的大小成正比。
• 通过迭代重新训练神经网络，使用新选中的高影响力样本以降低全局误差。
• 在基于深度学习的最小二乘法框架内实现该方法，避免生成网格，并利用PyTorch的自动微分机制。
• 通过在训练前作为预处理步骤集成自适应采样，保持与现有PDE求解器（DGM、DRM、WAN）的兼容性。
• 将该算法应用于高维HJB方程和泊松方程，以验证其在多种PDE类型下的性能表现。

实验结果

研究问题

• RQ1 基于残差误差的主动学习能否提升高维问题中基于深度学习的PDE求解器的收敛速度？
• RQ2 基于残差误差的自适应采样与均匀采样相比，在误差降低和收敛速率方面表现如何？
• RQ3 所提出的自适应采样方法在多大程度上与DGM、DRM和WAN等成熟深度学习PDE框架兼容？
• RQ4 该方法是否能比基线方法更有效地降低全局误差和局部（最大模）误差？
• RQ5 随着问题维度的增加，自适应采样的性能如何变化？

主要发现

• 在10维HJB问题中，自适应采样使最大模误差相比基线模型降低了65.98%。
• 在20维问题中，该方法实现了ℓ₂误差43.48%的降低，表明在更高维度下收敛性得到改善。
• 在2维泊松方程中，自适应采样将平均ℓ₂误差从基线的0.0333降低至0.0280（30次试验中），且最佳表现试验的方差更低。
• 该方法在所有测试框架——DGM、DRM和WAN——中均表现出一致的改进，证实了其广泛的兼容性与有效性。
• 误差分布的可视化显示，自适应采样降低了整个区域的误差方差，尤其有效减少了大局部误差。
• 绝对差值的热力图证实，自适应采样使解域内误差分布更加均匀且更低，尤其在高曲率或高敏感区域表现更优。