[论文解读] NeuPDE: Neural Network Based Ordinary and Partial Differential Equations for Modeling Time-Dependent Data

Yifan Sun, Linan Zhang+1 more|arXiv (Cornell University)|Aug 8, 2019

Neural Networks and Applications被引用 25

一句话总结

NeuPDE 提出了一种物理信息神经网络框架，通过使用浅层多层感知机（MLP）对常微分方程（ODE）和偏微分方程（PDE）进行参数化，结合高阶单项式项与有限差分算子，对时变数据进行建模。该方法在动力系统建模中提升了精度，并在图像分类任务中显著减少了参数数量，在 MNIST 上实现 0.51% 的错误率，在 Fashion MNIST 上实现 7.6% 的错误率，参数量分别仅为 0.18M 和 0.38M，优于标准 MLP 和 ResNet，在参数效率方面表现更优。

ABSTRACT

We propose a neural network based approach for extracting models from dynamic data using ordinary and partial differential equations. In particular, given a time-series or spatio-temporal dataset, we seek to identify an accurate governing system which respects the intrinsic differential structure. The unknown governing model is parameterized by using both (shallow) multilayer perceptrons and nonlinear differential terms, in order to incorporate relevant correlations between spatio-temporal samples. We demonstrate the approach on several examples where the data is sampled from various dynamical systems and give a comparison to recurrent networks and other data-discovery methods. In addition, we show that for MNIST and Fashion MNIST, our approach lowers the parameter cost as compared to other deep neural networks.

研究动机与目标

• 开发一种数据驱动方法，从时间序列和时空数据中提取控制 ODE/PDE 模型，同时保持内在的微分结构。
• 通过将连续微分结构嵌入网络架构中，减少图像分类深度学习模型的参数数量。
• 通过引入单项式字典和有限差分核，提升降阶模型的空间精度和泛化能力。
• 为 RNN 和标准 DNN 提供一种替代方案，更好地尊重底层动力系统所具有的连续、平滑特性。
• 展示将神经网络与微分方程框架相结合在科学建模和计算机视觉任务中的有效性。

提出的方法

• 该方法使用包含指定阶数内所有单项式项的字典，对 ODE 的右侧函数 $ \dot{x} = f(t, x) $ 进行参数化，采用浅层 MLP 以捕捉变量间的高阶相关性。
• 在 PDE 建模中，网络采用 PDE 模块，通过可学习的 6 种有限差分算子（如 $ \partial_x, \partial_y, \partial_{xx}, \partial_{yy}, \partial_{xy} $）的线性组合来近似空间导数。
• 该架构集成了类似残差的连接方式、批量归一化、ReLU 激活函数以及 2D 最大池化操作，最终通过全连接层将输出映射为类别得分。
• 网络使用随机梯度下降进行训练，损失函数为交叉熵损失，ODE 的积分通过数值求解器（如前向欧拉法或高阶方法）执行，以实现状态在时间上的前向传播。
• 该方法通过将微分算子直接嵌入网络的核结构中，而非通过标准卷积隐式学习，从而实现物理一致性。
• 该方法通过使用单项式和微分算子进行结构化特征工程，有效减少了 MLP 的宽度，实现参数高效的建模。

实验结果

研究问题

• RQ1 基于神经网络的 ODE/PDE 框架能否有效从时间序列和时空数据中提取控制方程，同时保持连续动力学特性？
• RQ2 引入高阶单项式项和有限差分算子后，与标准 MLP 或 RNN 相比，建模精度是否得到提升？
• RQ3 该方法在图像分类深度学习模型中，能在多大程度上减少参数数量而不损失精度？
• RQ4 在 MNIST 和 Fashion MNIST 上，NeuPDE 架构与 ResNet 和 ODENet 相比，在参数效率和预测性能方面表现如何？
• RQ5 结构化的微分层是否能提升动力系统降阶模型的泛化能力和空间精度？

主要发现

• 在 MNIST 数据集上，NeuPDE 仅使用 0.18 百万个参数即达到 0.51% 的测试错误率，优于标准 MLP（1.6% 错误率，0.24M 参数），并以更少参数达到与 ODENet（0.51% 错误率，0.22M 参数）相当的性能。
• 在 Fashion MNIST 数据集上，NeuPDE 实现 7.6% 的测试错误率，参数量仅为 0.38 百万个，远少于 ResNet18（2.78M 参数），且与简单 MLP（11.67% 错误率，0.248M 参数）相比性能更优。
• 该方法相比 ResNet18 最多减少 85% 的参数量，同时保持具有竞争力的精度，证明了其在图像分类任务中的强大参数效率。
• 使用单项式字典和有限差分算子，使模型能更好地捕捉高阶相关性，并在 PDE 建模中提升空间精度。
• 该架构在多种动力系统中均保持了高预测性能，包括具有复杂时空动力学的系统，其在保持时间规律性方面优于 RNN。
• 该方法在科学建模方面展现出潜力，能够实现具有物理可解释性的控制方程发现，并减少过拟合。