[论文解读] ODEFormer: Symbolic Regression of Dynamical Systems with Transformers

Stéphane d’Ascoli, Sören L. Becker+3 more|arXiv (Cornell University)|Oct 9, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

ODEFormer 是一种基于 Transformer 的新型模型，能够从单条、含噪声或非均匀采样轨迹中推断出符号形式的常微分方程（ODE）。它在动力系统的符号回归任务中达到最先进性能，相较于现有方法在准确性、对噪声和非均匀采样条件的鲁棒性以及推理速度方面均有显著提升，同时引入了 ODEBench 数据集以实现全面评估。

ABSTRACT

We introduce ODEFormer, the first transformer able to infer multidimensional ordinary differential equation (ODE) systems in symbolic form from the observation of a single solution trajectory. We perform extensive evaluations on two datasets: (i) the existing "Strogatz" dataset featuring two-dimensional systems; (ii) ODEBench, a collection of one- to four-dimensional systems that we carefully curated from the literature to provide a more holistic benchmark. ODEFormer consistently outperforms existing methods while displaying substantially improved robustness to noisy and irregularly sampled observations, as well as faster inference. We release our code, model and benchmark dataset publicly.

研究动机与目标

• 开发一种深度学习模型，能够在无先验领域知识的前提下，从观测数据中推断出可解释的符号形式 ODE。
• 解决动力系统符号回归缺乏鲁棒基准的问题，特别是针对含噪声或非均匀采样条件下的情况。
• 通过在大规模合成 ODE 轨迹上进行预训练，提升符号回归任务中的泛化能力和鲁棒性。
• 利用基于注意力机制的序列建模方法，实现从单条解轨迹中快速、可扩展地推断动力学规律。
• 发布一个全面的基准数据集（ODEBench）和训练好的模型，以加速通过符号回归推动科学发现的研究。

提出的方法

• ODEFormer 采用序列到序列的 Transformer 架构，在大规模合成数据上进行训练，这些数据由随机生成的 ODE 及其对应的离散解轨迹构成。
• 模型在 1–4 维的多样化符号 ODE 上进行预训练，轨迹通过从随机初始条件出发的数值积分生成。
• 推理阶段，模型将时间有序的观测序列（可能含噪声或非均匀采样）作为输入，预测 ODE 向量场 $ f(x) $ 的符号形式。
• 采用带温度缩放的束搜索解码策略，以平衡重建保真度与符号泛化性能。
• 通过重建 $ R^2 $-得分和泛化 $ R^2 $-得分对符号输出进行评估，以区分对噪声的拟合与对真实动力学的建模。
• 该方法对 50% 的缺失数据和最高达 5% 的观测噪声具有鲁棒性，性能在多个 ODE 家族中进行衡量。

实验结果

研究问题

• RQ1 基于 Transformer 的模型能否从单条含噪声或非均匀采样轨迹中准确推断出多维 ODE 的符号形式？
• RQ2 在真实数据条件下（如噪声和观测缺失），ODEFormer 的性能与现有符号回归及神经 ODE 方法相比如何？
• RQ3 在大规模合成 ODE 上进行预训练，能在多大程度上提升对未见过的动力系统泛化能力？
• RQ4 束搜索超参数和温度如何影响重建准确率与符号泛化性能之间的权衡？
• RQ5 一个精心筛选且多样化的基准数据集（ODEBench）能否作为评估动力系统符号回归的可靠标准？

主要发现

• ODEFormer 在 Strogatz 数据集和新引入的 ODEBench 上均达到最先进性能，其在含噪声和非均匀采样条件下的泛化 $ R^2 $-得分高于现有方法。
• 在 ODEBench 上，ODEFormer 在 1–4 维系统中均保持高性能，其平均泛化 $ R^2 $-得分显著优于基线方法（如基于遗传编程的符号回归）。
• 该模型对 50% 的轨迹点缺失和最高达 5% 的观测噪声具有鲁棒性，泛化性能下降微乎其微。
• 增大束搜索大小可提升重建准确率，但对泛化性能影响甚微，表明重建与符号恢复是不同的优化目标。
• ODEBench 数据集包含 63 个来自科学文献的精心筛选 ODE，相较于以往数据集，提供了更全面、更真实的基准。
• ODEFormer 实现了快速推理，在速度上优于大多数符号回归基线方法，同时保持了高准确率和可解释性。