[论文解读] Neural Time-Dependent Partial Differential Equation

Yihao Hu, Tong Zhao+2 more|arXiv (Cornell University)|May 4, 2021

Model Reduction and Neural Networks参考文献 25被引用 6

一句话总结

该论文提出 Neural-PDE，一种基于双向 LSTM 编码器的序列到序列学习框架，可从数据中自动学习并模拟时间依赖型偏微分方程（PDE），而无需事先了解 PDE 的形式。该方法同时建模所有系统变量，通过时间步之间的参数共享降低计算复杂度，并在少于 20 个训练周期内实现高精度预测。

ABSTRACT

Partial differential equations (PDEs) play a crucial role in studying a vast number of problems in science and engineering. Numerically solving nonlinear and/or high-dimensional PDEs is frequently a challenging task. Inspired by the traditional finite difference and finite elements methods and emerging advancements in machine learning, we propose a sequence-to-sequence learning (Seq2Seq) framework called Neural-PDE, which allows one to automatically learn governing rules of any time-dependent PDE system from existing data by using a bidirectional LSTM encoder, and predict the solutions in next n time steps. One critical feature of our proposed framework is that the Neural-PDE is able to simultaneously learn and simulate all variables of interest in a PDE system. We test the Neural-PDE by a range of examples, from one-dimensional PDEs to a multi-dimensional and nonlinear complex fluids model. The results show that the Neural-PDE is capable of learning the initial conditions, boundary conditions and differential operators defining the initial-boundary-value problem of a PDE system without the knowledge of the specific form of the PDE system. In our experiments, the Neural-PDE can efficiently extract the dynamics within 20 epochs training and produce accurate predictions. Furthermore, unlike the traditional machine learning approaches for learning PDEs, such as CNN and MLP, which require great quantity of parameters for model precision, the Neural-PDE shares parameters among all time steps, and thus considerably reduces computational complexity and leads to a fast learning algorithm.

研究动机与目标

• 开发一种数据驱动框架，可自动发现时间依赖型 PDE 系统的控制规则，而无需事先了解其解析形式。
• 解决传统方法在数值求解非线性和高维 PDE 时计算成本过高的挑战。
• 实现 PDE 系统中所有变量的同步学习与预测，避免为每个变量分别建立模型。
• 通过时间步之间的参数共享，降低模型复杂度与训练成本，区别于传统用于 PDE 的深度学习模型。
• 在从一维到复杂多维流体动力学系统的各类 PDE 上，验证该方法的有效性。

提出的方法

• 该框架采用双向长短期记忆网络（LSTM）编码器，处理 PDE 系统的历史时间序列数据。
• 采用序列到序列（Seq2Seq）架构，预测解的未来 n 个时间步，解码器基于编码的上下文生成未来状态。
• 模型在所有时间步之间共享参数，显著减少可训练参数数量和计算成本。
• 该方法从数据中隐式学习初始条件和边界条件，无需显式指定。
• 该框架端到端训练，从观测数据中重建完整的 PDE 动力学，包括微分算子。
• 该方法可处理线性和非线性 PDE，包括多维流体动力学模型等复杂系统。

实验结果

研究问题

• RQ1 深度学习框架能否在不了解方程形式的前提下，仅从观测数据中自动发现控制 PDE 动力学？
• RQ2 该模型能否以高精度同时学习并预测多变量 PDE 系统中的所有变量？
• RQ3 与标准 MLP 或 CNN 方法相比，Seq2Seq 架构中时间步之间的参数共享是否能带来更快的收敛速度和更低的计算复杂度？
• RQ4 该模型在非线性和高维 PDE 上，包括复杂流体动力学系统，泛化能力如何？
• RQ5 该模型能否直接从数据中推断初始和边界条件，而无需显式输入？

主要发现

• Neural-PDE 在不了解方程形式的前提下，成功从数据中学习到底层 PDE 动力学，包括微分算子和边界条件。
• 该模型在少于 20 个训练周期内实现高精度预测，表现出快速收敛特性。
• 通过在时间步之间共享参数，与标准 MLP 或 CNN 方法相比，该模型显著减少了参数数量，降低了计算复杂度。
• 该框架能高保真地模拟多维、非线性 PDE 系统，如复杂流体模型。
• 在参数效率和训练速度方面，该方法优于传统用于 PDE 的机器学习模型。
• 双向 LSTM 编码器能够从有限数据中学习到鲁棒的时空动态表征。