[论文解读] Learning Dynamical Systems and Bifurcation via Group Sparsity

Hayden Schaeffer, Giang Tran+1 more|arXiv (Cornell University)|Sep 5, 2017

Model Reduction and Neural Networks参考文献 38被引用 16

一句话总结

本文提出了一种组稀疏惩罚回归方法，用于从具有不同分岔参数的多个数据源中学习动力系统的控制方程。通过使用ℓ²,₁范数在不同源之间强制实现块状稀疏性，该方法同时选择相关的候选函数并估计各源特有的系数，实现对局部极小值的收敛，并在理论保证下实现数据驱动的分岔分析。

ABSTRACT

Learning governing equations from a family of data sets which share the same physical laws but differ in bifurcation parameters is challenging. This is due, in part, to the wide range of phenomena that could be represented in the data sets as well as the range of parameter values. On the other hand, it is common to assume only a small number of candidate functions contribute to the observed dynamics. Based on these observations, we propose a group-sparse penalized method for model selection and parameter estimation for such data. We also provide convergence guarantees for our proposed numerical scheme. Various numerical experiments including the 1D logistic equation, the 3D Lorenz sampled from different bifurcation regions, and a switching system provide numerical validation for our method and suggest potential applications to applied dynamical systems.

研究动机与目标

• 解决从共享物理规律但分岔参数不同的多个数据源中学习控制方程的挑战。
• 通过在模型选择过程中利用稀疏性，克服在大规模候选函数集合中搜索的计算不可行性。
• 在数据源因参数变化而表现出不同动力学行为时，实现准确的参数估计与模型发现。
• 开发一种组稀疏优化框架，允许系数按源变化，同时保持活跃候选函数的共享结构。
• 在字典和数据结构的温和假设下，为所提出的数值方案提供理论收敛保证。

提出的方法

• 该方法采用基于ℓ²,₁范数的组稀疏优化框架，以促进块状稀疏性，即整个系数组（对应候选函数）要么全为零，要么全非零。
• 使用原始-对偶算法求解非凸优化问题，涉及通过硬阈值化步骤对系数矩阵和对偶变量进行迭代更新。
• 算法在最小二乘更新与仅保留每源最具显著性的候选函数组的阈值化步骤之间交替进行。
• 通过证明目标函数单调递减且系数更新有界，建立收敛性，从而在强制性和谱假设下收敛至局部极小值。
• 通过将每个源视为独立的数据流来应用该方法，共享候选函数但每源具有独立的系数向量。
• 理论分析包括对系数差平方和的界，依赖于数据矩阵的谱性质和强制性常数。

实验结果

研究问题

• RQ1 组稀疏正则化能否有效识别在不同分岔参数下控制动力系统的正确候选函数集合？
• RQ2 当动力学在不同参数区域间发生转变（如混沌或切换系统）时，该方法在恢复控制方程方面的表现如何？
• RQ3 可用于从多源数据中学习动力系统的组稀疏优化方案，可建立何种收敛保证？
• RQ4 与单源学习相比，使用多源数据在多大程度上提升了模型恢复的准确性，特别是在参数变化的情况下？
• RQ5 该方法能否在不预先知晓底层方程的情况下，准确重构分岔图？

主要发现

• 所提出的组稀疏方法在不同分岔参数下成功恢复了1D逻辑斯蒂映射的真实控制方程，表现出对参数变化的鲁棒性。
• 对于从不同分岔区域采样的3D洛伦兹系统，该方法准确识别出活跃的候选函数并估计了各源特有的系数，实现了数据驱动的分岔分析。
• 在温和假设下（包括数据矩阵的有界特征值和字典在支撑集上的强制性），算法收敛至局部极小值。
• 数值实验表明，当数据跨越多个动力学区域时，该方法优于标准稀疏回归，原因在于跨源强制的共享结构。
• 收敛性分析表明，系数差平方和有界，确保了迭代方案的稳定性和收敛性。
• 结合组稀疏异常值检测，该方法可从含污染区间的混沌系统中精确恢复干净数据，如先前工作所示。