[论文解读] Deep Differential System Stability -- Learning advanced computations from examples

François Charton, Amaury Hayat+1 more|arXiv (Cornell University)|Jun 11, 2020

Model Reduction and Neural Networks参考文献 20被引用 4

一句话总结

该论文表明，经过大规模合成数据集训练的变换器模型能够学习预测微分系统的高级定性与定量属性——如局部稳定性、无穷远处的行为以及可控制性——在定性特征上实现近乎完美的估计，在数值上实现强大的近似，表明神经网络可以在不显式掌握符号知识的情况下内化复杂的数学定理。

ABSTRACT

Can advanced mathematical computations be learned from examples? Using transformers over large generated datasets, we train models to learn properties of differential systems, such as local stability, behavior at infinity and controllability. We achieve near perfect estimates of qualitative characteristics of the systems, and good approximations of numerical quantities, demonstrating that neural networks can learn advanced theorems and complex computations without built-in mathematical knowledge.

研究动机与目标

• 研究神经网络是否能仅从纯数据驱动的示例中学习高级数学计算，例如微分系统的稳定性与可控制性。
• 评估变换器是否能在未显式提供符号或解析训练的情况下，推断微分系统的定性属性。
• 评估神经网络在仅使用生成训练数据的情况下，对与微分系统相关的复杂数值量的近似性能。
• 探索深度学习模型通过合成数据集中的模式识别，内化并泛化数学定理的程度。

提出的方法

• 在具有已知属性的大规模合成微分系统数据集上训练基于变换器的模型。
• 生成具有标签定性与定量特征的多样化微分系统，包括局部稳定性、渐近行为和可控制性。
• 利用变换器中的注意力机制捕捉系统动力学中的长程依赖关系与结构模式。
• 根据属性类型将预测任务表述为序列到序列或分类-回归混合任务。
• 使用定性分类与数值回归任务的综合指标评估模型性能。

实验结果

研究问题

• RQ1 变换器能否仅从训练示例中学习分类微分系统的局部稳定性？
• RQ2 神经网络在未提供显式数学表达式的情况下，能在多大程度上预测系统在无穷远处的行为？
• RQ3 模型能否仅使用数据高精度地近似如可控制性指标等数值量？
• RQ4 模型在泛化到训练数据中未出现过的新型系统结构时，表现如何？

主要发现

• 模型在预测微分系统的局部稳定性与渐近行为等定性属性方面实现了近乎完美的准确率。
• 对系统量（如可控制性度量）的数值近似始终准确，表现出强大的回归性能。
• 模型能有效泛化到训练过程中未见过的新系统类型，表明其具备稳健的模式学习能力。
• 即使在系统具有复杂非线性动力学的情况下，性能依然保持高水平，表明模型有效捕捉了底层数学结构。