[论文解读] A Discussion on Solving Partial Differential Equations using Neural Networks

Tim Dockhorn|arXiv (Cornell University)|Apr 15, 2019

Model Reduction and Neural Networks参考文献 13被引用 42

一句话总结

本文表明小型神经网络能够逼近 Poisson 和稳态 Navier–Stokes PDEs 的解，研究随机初始化如何实现集成改进，并讨论损失函数、与经典方法的比较以及未来方向。

ABSTRACT

Can neural networks learn to solve partial differential equations (PDEs)? We investigate this question for two (systems of) PDEs, namely, the Poisson equation and the steady Navier--Stokes equations. The contributions of this paper are five-fold. (1) Numerical experiments show that small neural networks (< 500 learnable parameters) are able to accurately learn complex solutions for systems of partial differential equations. (2) It investigates the influence of random weight initialization on the quality of the neural network approximate solution and demonstrates how one can take advantage of this non-determinism using ensemble learning. (3) It investigates the suitability of the loss function used in this work. (4) It studies the benefits and drawbacks of solving (systems of) PDEs with neural networks compared to classical numerical methods. (5) It proposes an exhaustive list of possible directions of future work.

研究动机与目标

• 在工程与科学中推动使用神经网络来求解 PDEs。
• 证明小型网络能够准确近似 Poisson 和 Navier–Stokes 问题的 PDE 解。
• 研究随机权值初始化如何影响结果，以及集成方法如何利用这种非确定性。
• 将所提出的神经 PDE 求解器与经典数值方法进行比较，并讨论其优缺点。
• 提出神经 PDE 求解器未来研究的方向。

提出的方法

• 用神经网络 ŭ(x, θ) 近似 PDE 解，并使用损失 L_MC(θ) 进行训练，该损失在定义域内强制 PDE 残差，在边界上强制边界条件。
• 通过从 Ω 和 ∂Ω 分别采样内部点和边界点来对损失进行蒙特卡洛估计。
• 通过 L_MC 将带约束的边界条件转换为无约束惩罚，并探索带角落项正则化的变体。
• 使用 BFGS 优化网络并采用带 Xavier 初始化的 sigmoid 激活；使用小型网络（≤ ~500 参数）并在 Poisson 和稳态 Navier–Stokes 问题上进行测试。
• 通过训练多個网络并应用集成平均以提高准确性，从而考察随机初始化的影响。
• 研究损失度量与真实解误差之间的相关性，以评估损失函数的适用性。

实验结果

研究问题

• RQ1 小型神经网络是否能够准确学习 Poisson 与稳态 Navier–Stokes PDE 的解？
• RQ2 随机权重初始化如何影响神经 PDE 解的质量，集成方法是否能缓解这种变异？
• RQ3 所提出的损失函数在理论上是否有依据，且在实际训练 PDE 求解器时是否有效？
• RQ4 在准确性、速度和灵活性方面，神经 PDE 求解器与经典数值方法有哪些权衡？
• RQ5 对基于神经网络的 PDE 求解器提出了哪些未来方向与改进？

主要发现

• 小型神经网络（参数少于 500 个）能够学习 Poisson 和 Navier–Stokes 问题的复杂 PDE 解。
• 随机初始化对结果有不可忽视的影响；对多次训练进行集成平均能提高准确性。
• 所提出的基于 MC 的损失函数与真实误差之间显示出变化的相关性，表明更多的是经验性指导而非强理论依据。
• 用神经网络求解 PDE 在处理任意区域和纳入传感器数据方面具有灵活性，但可能较慢且尚缺乏已证明的收敛性保证。
• 该研究对损失函数、优化挑战以及神经 PDE 求解器的潜在未来方向进行了广泛讨论。