[论文解读] Extracting structured dynamical systems using sparse optimization with very few samples

Hayden Schaeffer, Giang Tran+2 more|arXiv (Cornell University)|May 10, 2018

Model Reduction and Neural Networks参考文献 25被引用 8

一句话总结

本文提出了一种稀疏优化框架，用于从极少、欠采样且可能含噪声的测量数据中提取结构化动力系统。通过利用脉冲采样和数据块的循环置换，该方法将结构化测量转化为有界正交系统的独立同分布（i.i.d.）随机采样，从而在低噪声条件下，通过具有理论保证的稀疏最小二乘法，实现对控制方程的精确且稳定的恢复，包括系数和项的准确识别。

ABSTRACT

Learning governing equations allows for deeper understanding of the structure and dynamics of data. We present a random sampling method for learning structured dynamical systems from under-sampled and possibly noisy state-space measurements. The learning problem takes the form of a sparse least-squares fitting over a large set of candidate functions. Based on a Bernstein-like inequality for partly dependent random variables, we provide theoretical guarantees on the recovery rate of the sparse coefficients and the identification of the candidate functions for the corresponding problem. Computational results are demonstrated on datasets generated by the Lorenz 96 equation, the viscous Burgers' equation, and the two-component reaction-diffusion equations (which is challenging due to parameter sensitives in the model). This formulation has several advantages including ease of use, theoretical guarantees of success, and computational efficiency with respect to ambient dimension and number of candidate functions.

研究动机与目标

• 解决从极少数且含噪声的数据样本中学习动力系统控制方程的挑战。
• 克服传统最小二乘法在高维候选函数空间中因系数解密集而导致过拟合的局限性。
• 开发一种计算高效且理论基础坚实的稀疏可解释模型识别方法，适用于欠采样数据。
• 利用部分依赖随机变量的伯恩斯坦不等式，为稀疏系数和正确项识别提供理论恢复保证。
• 将稀疏系统识别的适用性扩展至多组分和空间不变的动力系统，同时满足最低采样需求。

提出的方法

• 使用脉冲采样——从轨迹中随机选取短时连续时间片段（脉冲）——在对数据块进行循环置换后，生成独立同分布（i.i.d.）样本。
• 应用循环置换，将结构化、非i.i.d.的测量转化为有界正交系统的i.i.d.采样。
• 将控制方程识别问题建模为大规模候选函数字典（如单项式、导数）上的稀疏最小二乘问题。
• 利用部分依赖随机变量的伯恩斯坦不等式，推导出在相干性和有界性条件下的理论恢复保证。
• 通过控制噪声水平并使用促进稀疏性的优化方法，确保稳定性和精确支持恢复，同时提供误差和相干性的理论界。
• 通过字典的相干性条件和有界性，确保采样测度保留理论分析所需的结构。

实验结果

研究问题

• RQ1 当仅能获得极少数样本时，稀疏优化能否可靠地恢复动力系统的真正控制方程？
• RQ2 如何将结构化、非i.i.d.的数据（如时间序列脉冲）转化为i.i.d.采样框架，以实现理论恢复保证？
• RQ3 在存在噪声的情况下，稀疏最小二乘法在何种条件下能实现精确系数恢复和正确项识别？
• RQ4 在脉冲采样框架中，脉冲大小与脉冲内轨迹数量之间存在何种权衡，以实现最优系统识别？
• RQ5 该方法在复杂且对参数敏感的系统（如灰-斯科特反应-扩散方程）中，使用极少采样时表现如何？

主要发现

• 当噪声足够低时，该方法能精确恢复真实的稀疏系数向量，并正确识别控制方程中的项。
• 通过部分依赖随机变量的伯恩斯坦不等式建立了理论保证，确保在相干性和有界性条件下实现稳定且精确的恢复。
• 在无稀疏性约束的最小二乘解中，相对误差较高——例如，对于Burgers方程的$11\times11$块，$E_{c,\text{LS}} = 2.8562$，表明由于解密集而出现过拟合。
• 对于Gray-Scott方程，随着字典大小增加，最小二乘误差显著上升，$v$-分量在$21\times21$块时达到$E_{c,\text{LS}} = 7.7621$，证实了过拟合现象。
• 所提出的稀疏优化方法即使在复杂情形（如黏性Burgers方程和双组分Gray-Scott系统）中，也能成功识别控制方程中的正确项。
• 该方法在环境维度和候选函数数量方面保持计算效率和可扩展性，可应用于高维系统。