[论文解读] FiniteNet: A Fully Convolutional LSTM Network Architecture for Time-Dependent Partial Differential Equations

Ben Stevens, Tim Colonius|arXiv (Cornell University)|Feb 7, 2020

Model Reduction and Neural Networks参考文献 38被引用 31

一句话总结

FiniteNet 使用全卷积 LSTM 来增强有限差分/有限体积 PDE 求解器，在线性对流、无粘 Burgers’ 方程以及 Kuramoto–Sivashinsky 方程上实现 2–3 倍的误差降低。

ABSTRACT

In this work, we present a machine learning approach for reducing the error when numerically solving time-dependent partial differential equations (PDE). We use a fully convolutional LSTM network to exploit the spatiotemporal dynamics of PDEs. The neural network serves to enhance finite-difference and finite-volume methods (FDM/FVM) that are commonly used to solve PDEs, allowing us to maintain guarantees on the order of convergence of our method. We train the network on simulation data, and show that our network can reduce error by a factor of 2 to 3 compared to the baseline algorithms. We demonstrate our method on three PDEs that each feature qualitatively different dynamics. We look at the linear advection equation, which propagates its initial conditions at a constant speed, the inviscid Burgers' equation, which develops shockwaves, and the Kuramoto-Sivashinsky (KS) equation, which is chaotic.

研究动机与目标

• 倡导在时依赖的PDE求解器中减少数值误差。
• 提出一种神经架构，协同利用空间离散化与时间动态。
• 在从仿真数据学习的同时保持收敛性保证。
• 展示在多种本质上不同的PDE（线性对流、Burgers’、KS）上实现误差降低。

提出的方法

• 采用一个全卷积 LSTM，模拟有限差分/有限体积下的模板，以计算空间导数。
• 在每个网格位置使用一个 LSTM，在时间步之间传播信息。
• 学习对最大阶离散化系数的扰动（ĉ -> ĉ̂ + Δĉ）并进行 L2 正则化，随后通过仿射变换以实现阶次准确性。
• 通过在时间上向前仿真并使长期仿真误差相对于精确解或高保真解最小化来端到端训练。
• 通过将学习到的系数约束为满足规定的精度条件（通过一个闭式 Δĉ 计算）来确保数值稳定性和收敛性保证。

实验结果

研究问题

• RQ1 在不同 PDE 动力学下，FiniteNet 是否能将离散化误差相对于基线 FDM/FVM 方法降低？
• RQ2 将基于 LSTM 的时间记忆与受 PDE 启发的空间离散化相结合，是否能保持已知的收敛速率？
• RQ3 与标准求解器相比，FiniteNet 在具有不连续性（冲击波）和混沌动力学（KS 方程）的问题上的表现如何？

主要发现

• FiniteNet 在三种 PDE 上相对于基线方法将误差降低了 2–3 倍。
• 对于线性对流和无粘 Burgers’，FiniteNet 能更清晰地分辨不连续性，虽偶有小振荡，但总体误差更低。
• 对于 Kuramoto–Sivashinsky，FiniteNet 提升了对混沌轨迹的跟踪，误差的均值和方差都低于 FDM。
• 在各测试用例中，FiniteNet 显示出经验稳定性，并在混沌动力学方面比传统方法提供更可靠的性能。
• 超参数从线性对流任务初始化，并通过适度调优泛化到 Burgers’ 和 KS 方程。