[论文解读] PROSE: Predicting Operators and Symbolic Expressions using Multimodal Transformers

Yuxuan Liu, Zecheng Zhang+1 more|arXiv (Cornell University)|Sep 28, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

PROSE 提出了一种多模态变换器框架，能够从数据中联合预测解并发现参数化常微分方程（ODE）的控制符号方程。通过融合数值数据与符号表达式，它在多个 ODE 家族上学习单一的算子网络，实现了在解预测（3.29% 相对误差）和符号恢复（0.36% 表达式误差）方面的高精度，同时在分布外数据上表现出强泛化能力，并对噪声和模型误差具有鲁棒性。

ABSTRACT

Approximating nonlinear differential equations using a neural network provides a robust and efficient tool for various scientific computing tasks, including real-time predictions, inverse problems, optimal controls, and surrogate modeling. Previous works have focused on embedding dynamical systems into networks through two approaches: learning a single solution operator (i.e., the mapping from input parametrized functions to solutions) or learning the governing system of equations (i.e., the constitutive model relative to the state variables). Both of these approaches yield different representations for the same underlying data or function. Additionally, observing that families of differential equations often share key characteristics, we seek one network representation across a wide range of equations. Our method, called Predicting Operators and Symbolic Expressions (PROSE), learns maps from multimodal inputs to multimodal outputs, capable of generating both numerical predictions and mathematical equations. By using a transformer structure and a feature fusion approach, our network can simultaneously embed sets of solution operators for various parametric differential equations using a single trained network. Detailed experiments demonstrate that the network benefits from its multimodal nature, resulting in improved prediction accuracy and better generalization. The network is shown to be able to handle noise in the data and errors in the symbolic representation, including noisy numerical values, model misspecification, and erroneous addition or deletion of terms. PROSE provides a new neural network framework for differential equations which allows for more flexibility and generality in learning operators and governing equations from data.

研究动机与目标

• 开发一个统一的深度学习框架，从多个参数化 ODE 的数据中学习解算子和符号控制方程。
• 克服现有算子学习方法的局限性，即需要为每个 ODE 单独训练且缺乏在方程家族间的泛化能力。
• 通过单一多模态神经网络实现数值解和符号表达式的联合预测。
• 提高对噪声、模型误设以及数据中错误符号项的泛化能力和鲁棒性。
• 构建一种灵活且可迁移的架构，能够实现分布外预测和符号模型发现。

提出的方法

• 采用多模态变换器架构，将数值时间序列数据和符号表达式作为输入模态进行处理。
• 引入特征融合层，实现数据与符号表示之间的跨模态注意力，支持共享表征学习。
• 网络端到端训练，以在查询时间点预测解轨迹的同时，生成控制 ODE 的符号形式。
• 采用多算子学习目标，使模型在 N 个不同的 ODE 上学习共享表征，从而实现对未见方程的泛化。
• 通过条件序列生成头执行符号生成，输出语法和结构正确的数学有效 ODE。
• 使用 L2 损失进行解预测和交叉熵损失进行符号表达式生成的联合训练。

实验结果

研究问题

• RQ1 单一神经网络能否联合预测参数化 ODE 的解轨迹并发现其符号控制方程？
• RQ2 数据与符号表达式之间的多模态融合如何相比单模态模型提升预测精度和泛化能力？
• RQ3 该模型在未见 ODE 上的泛化能力如何，尤其是在输入存在噪声或损坏的情况下？
• RQ4 当系数或项被扰动或缺失时，模型在恢复 ODE 真正符号形式方面的有效性如何？
• RQ5 模型生成的符号表达式是否能超越预测功能，提供科学洞见，如识别守恒量或对称性？

主要发现

• PROSE 模型在 'Unknown (3D)' 测试集上的相对预测误差为 3.29%，表明其在解预测方面具有高精度。
• 符号表达式误差仅为 0.36%，表明即使在输入存在噪声或损坏的情况下，也能高保真地恢复真实控制方程。
• 在传感器数量减少的情况下，模型仍保持强劲性能，表明符号模态提供了关键信息，可增强数据预测能力。
• 模型在分布外 ODE 上的符号表达式恢复准确率超过 97.89%，表现出优异的泛化能力。
• 注意力图证实了非平凡的跨模态交互，验证了特征融合在整合数据与符号表征方面的有效性。
• 生成的符号表达式为有效的数学函数，支持替代的基于模拟的预测和科学解释。