[论文解读] Learning advanced mathematical computations from examples

François Charton, Amaury Hayat+1 more|arXiv (Cornell University)|Jun 11, 2020

Model Reduction and Neural Networks参考文献 34被引用 7

一句话总结

该论文表明，经过大规模合成数据集训练的变换器模型，即使没有显式的数学知识，也能学会预测微分系统等高级数学性质——如局部稳定性、可控制性和渐近行为。该模型在定性性质预测上达到接近完美的准确率，在数值近似方面也表现出色，表明神经网络仅通过示例即可掌握复杂的理论计算。

ABSTRACT

Using transformers over large generated datasets, we train models to learn mathematical properties of differential systems, such as local stability, behavior at infinity and controllability. We achieve near perfect prediction of qualitative characteristics, and good approximations of numerical features of the system. This demonstrates that neural networks can learn to perform complex computations, grounded in advanced theory, from examples, without built-in mathematical knowledge.

研究动机与目标

• 探究深度学习模型是否能在不内置数学知识的前提下，学习基于高级理论的复杂数学计算。
• 评估变换器模型在微分系统符号与数值性质上的泛化能力。
• 对比神经网络推理速度与准确率，与经典算法方法在稳定性与可控制性分析中的表现。
• 探究模型是否能发现训练数据模式之外的多种有效解（例如反馈矩阵）。

提出的方法

• 在数百万个微分系统及其对应数学性质的合成示例上训练变换器模型。
• 使用递归公式生成数据集，以受控方式枚举具有特定复杂度（如运算符、变量和函数数量）的有效数学表达式。
• 采用形式化数学程序（如雅可比矩阵计算、特征值分析、秩判定）自动标注训练数据。
• 应用带有注意力机制的序列到序列建模方法，将系统描述映射到定性与定量输出。
• 使用准确率、F1分数和推理速度等指标，在未见系统上评估模型性能。
• 采用稀疏雅可比结构和高效矩阵运算，降低数据生成过程中的计算开销。

实验结果

研究问题

• RQ1 神经网络能否仅通过示例学习预测微分系统的局部稳定性，而无需掌握其底层理论？
• RQ2 变换器能否泛化到预测训练分布之外的自治与非自治系统的可控制性？
• RQ3 模型在多大程度上能近似控制系统的数值特征（如反馈矩阵）？
• RQ4 模型是否能生成多种正确解，表明其具备更深层次的结构理解？
• RQ5 神经网络模型的推理速度与经典符号算法相比如何？

主要发现

• 该模型在预测微分系统的局部稳定性与可控制性等定性性质方面，达到了接近完美的准确率（接近100%）。
• 在数值预测方面（如反馈矩阵计算），模型实现了高质量近似，甚至发现了训练数据中未包含的其他有效解。
• 推理速度显著快于经典实现：稳定性预测仅需0.0008秒，而使用Python库需0.02秒，提速达25倍。
• 模型能有效泛化到训练分布之外的系统，表明其泛化能力超越记忆化学习。
• 理论复杂度分析表明，当表达式长度 q 相对于系统规模 n 为次线性时，变换器具有渐近优势，尤其在稀疏雅可比矩阵下更为显著。
• 尽管问题空间极其庞大（例如，约10^212种可能系统），但未观察到过拟合现象，证实模型学习到了可泛化的模式。