[论文解读] Data-driven discovery of free-form governing differential equations

Steven Atkinson, Waad Subber+4 more|arXiv (Cornell University)|Sep 27, 2019

Model Reduction and Neural Networks参考文献 25被引用 32

一句话总结

一种从数据中发现支配微分方程的方法，在不预先指定项的情况下，使用可微分的数据模型和算子遗传程序图的图结构，结合贝叶斯校准和主动学习演示，涵盖合成数据和超声数据。

ABSTRACT

We present a method of discovering governing differential equations from data without the need to specify a priori the terms to appear in the equation. The input to our method is a dataset (or ensemble of datasets) corresponding to a particular solution (or ensemble of particular solutions) of a differential equation. The output is a human-readable differential equation with parameters calibrated to the individual particular solutions provided. The key to our method is to learn differentiable models of the data that subsequently serve as inputs to a genetic programming algorithm in which graphs specify computation over arbitrary compositions of functions, parameters, and (potentially differential) operators on functions. Differential operators are composed and evaluated using recursive application of automatic differentiation, allowing our algorithm to explore arbitrary compositions of operators without the need for human intervention. We also demonstrate an active learning process to identify and remedy deficiencies in the proposed governing equations.

研究动机与目标

• 在不假设项模板的前提下，推动从大量数据中自动发现控制定律。
• 开发基于可微分的、以算子图为基础的搜索，将代数算子和微分算子组合成方程。
• 通过贝叶斯推断对方程参数进行校准。
• 在合成微分方程和真实世界的超声数据集上展示鲁棒性。
• 提供将发现的规律与现有的物理信息驱动和解析工作流集成的途径。

提出的方法

• 将可微分模型（神经网络或高斯过程）拟合到每个数据分量，以获得平滑的函数表示。
• 将微分方程候选构建为图，其中叶子节点是拟合的模型，内部节点来自代数算子和微分算子库。
• 通过自动微分计算算子，以在定义域内对任意 x 评估残差 r(x)。
• 用遗传编程算法探索假设空间，以 ELBO（证据下界）作为适应度来生成和排序方程图。
• 在表示常数的叶子节点上使用黑箱变分推断（贝叶斯）来校准参数 theta。
• 可选地通过选择新数据来最大化拟合改进度量 a(x) 并迭代地改进发现的方程来启用主动学习。

实验结果

研究问题

• RQ1 是否可以在不事先指定候选项 a priori 的情况下，从数据中发现自由形式的微分方程？
• RQ2 基于图的算子组合与可微分模型在合成基准测试中多大程度上能够恢复已知的微分方程？
• RQ3 该方法是否能够将发现方程中的未知参数拟合到单个实验的数据？
• RQ4 通过额外数据的主动学习在改进所发现的控制规律方面是否有效？
• RQ5 与纯合成基准相比，该方法在实际数据（如超声数据）上的表现如何？

主要发现

• 通过完全数据驱动的算子图方法，成功从合成数据中发现了若干基准微分方程，包括常微分方程(ODE)和偏微分方程(PDE)。
• 该方法能够恢复正确的支配结构并对单个数据实例的系数进行校准。
• 高斯过程模型在这一任务中提供了比神经网络更可靠的梯度信息，有助于更准确地组装算子。
• 自适应采样和基于ELBO的适应度引导进化搜索在更少样本下朝向正确方程。
• 应用于超声数据，该方法为波动方程给出合理的修正项，并给出参数后验的量化。
• 该框架生成可读的、可组合的微分方程，兼容传统建模和物理信息驱动的方法。