[论文解读] ERFit: Entropic Regression Fit Matlab Package, for Data-Driven System Identification of Underlying Dynamic Equations

Abd AlRahman R. AlMomani, Erik M. Bollt|arXiv (Cornell University)|Oct 5, 2020

Evolutionary Algorithms and Applications被引用 4

一句话总结

ERFit 是一个用于基于熵回归的数据驱动系统辨识的 MATLAB 软件包，通过条件互信息迭代选择稀疏且信息丰富的基函数，以建模非线性动力系统。它结合了前向选择与后向剔除策略，从时间序列数据中自动发现准确且低维的模型，仅需最少的用户干预，在 Lorenz 和 Rossler 等基准系统上实现了高精度。

ABSTRACT

Data-driven sparse system identification becomes the general framework for a wide range of problems in science and engineering. It is a problem of growing importance in applied machine learning and artificial intelligence algorithms. In this work, we developed the Entropic Regression Software Package (ERFit), a MATLAB package for sparse system identification using the entropic regression method. The code requires minimal supervision, with a wide range of options that make it adapt easily to different problems in science and engineering. The ERFit is available at https://github.com/almomaa/ERFit-Package

研究动机与目标

• 开发一个用户友好、低监督的 MATLAB 软件包，用于非线性动力系统中的稀疏系统辨识。
• 解决从高维时间序列数据中识别潜在动力学方程的挑战，而无需预先知晓系统结构。
• 通过利用信息理论准则而非传统的最小二乘法或稀疏性促进方法，提升模型精度并避免过拟合。
• 使研究人员能够轻松自定义微分估计、互信息计算和参数幅度估计，以适应多样化的科学应用。

提出的方法

• ERFit 使用熵回归（ER），一种基于条件互信息的贪心优化方法，从候选基函数库中选择相关基函数。
• 前向选择阶段通过迭代添加在当前模型条件下，使向量场与候选函数之间的条件互信息最大化的基函数。
• 后向剔除阶段通过最小化冗余或非信息性函数对模型的条件互信息贡献，移除冗余函数。
• 该算法采用基于信息增益容忍度阈值的终止条件（HLT1），当无法实现进一步显著改进时停止迭代。
• 该方法支持用户自定义的微分、互信息和参数幅度估计器，增强了灵活性与适应性。
• 该软件包使用 MATLAB 实现，配备完整文档和实时脚本，确保跨学科研究人员的可访问性与可扩展性。

实验结果

研究问题

• RQ1 基于条件互信息的熵回归是否能在从噪声时间序列数据中识别潜在动力学方面优于传统稀疏回归方法？
• RQ2 两阶段的前向选择与后向剔除过程在降低模型复杂度的同时，是否能有效保持预测精度？
• RQ3 ERFit 在多大程度上能够从高维系统（如耦合振子网络或 Kuramoto-Sivashinsky 偏微分方程）中发现正确的动力学方程？
• RQ4 该方法在真实科学应用中对噪声和高维基函数库的鲁棒性如何？
• RQ5 ERFit 的模块化设计是否能够支持在多样化建模场景中自定义微分和信息理论量的估计策略？

主要发现

• ERFit 仅需极少用户输入，即可从时间序列数据中成功识别 Lorenz 和 Rossler 系统的真实潜在动力学，实现高精度。
• 该方法在高维系统中表现出稳健性能，包括一个 300 维的耦合 Lorenz 系统网络，其中回归问题扩展至超过 45,000 个维度。
• 后向剔除阶段有效去除了冗余基函数，提升了模型稀疏性并减少了过拟合，同时未牺牲预测能力。
• 该软件包在 16 维的 Kuramoto-Sivashinsky 方程上实现了准确的系统辨识，由于基函数扩展，回归问题扩展至约 150 个维度。
• 基于信息增益容忍度的算法终止条件（HLT1）有效防止了不必要的迭代，确保了计算效率。
• ERFit 兼容 MATLAB R2016a 及以上版本，并支持用户自定义的微分估计、互信息计算和参数幅度估计组件，支持广泛科学复用。