[论文解读] On kernel design for regularized LTI system identification

Tianshi Chen|arXiv (Cornell University)|Dec 12, 2016

Control Systems and Identification参考文献 18被引用 7

一句话总结

本文提出了两种系统化的核函数设计方法，用于正则化线性时不变（LTI）系统辨识：一种从机器学习视角出发，采用幅度调制局部平稳（AMLS）核函数来建模脉冲响应的衰减与变化速率；另一种从系统理论视角出发，基于标称LTI系统模型生成仿真诱导（SI）核函数。核心贡献是一个原理性框架，将核结构与先验知识相联系，从而改善偏差-方差权衡，并在准确性和鲁棒性方面优于现有经验性核函数。

ABSTRACT

There are two key issues for the kernel-based regularization method: one is how to design a suitable kernel to embed in the kernel the prior knowledge of the LTI system to be identified, and the other one is how to tune the kernel such that the resulting regularized impulse response estimator can achieve a good bias-variance tradeoff. In this paper, we focus on the issue of kernel design. Depending on the type of the prior knowledge, we propose two methods to design kernels: one is from a machine learning perspective and the other one is from a system theory perspective. We also provide analysis results for both methods, which not only enhances our understanding for the existing kernels but also directs the design of new kernels.

研究动机与目标

• 为解决LTI系统辨识中缺乏系统化方法来设计嵌入先验知识的正则化核函数的问题。
• 提出一种基于机器学习的方法，利用幅度调制局部平稳（AMLS）核函数对脉冲响应特性（如衰减与变化速率）进行建模。
• 提出一种基于系统理论的方法，通过仿真诱导（SI）核函数系统性地嵌入关于系统稳定性、阻尼与共振频率的先验知识。
• 提供理论分析，阐明现有核函数（如SS、DC）与新框架之间的联系，深化对核函数结构与特性的理解。
• 通过实验验证，所提出的核函数在平均准确性和鲁棒性方面优于现有经验性核函数。

提出的方法

• 通过将脉冲响应行为分解为幅度衰减（秩-1核）与变化速率（平稳核），提出AMLS核函数框架，实现对衰减与平滑性的灵活建模。
• 通过在具有乘性不确定性的情況下对具有标称模型（如具有共轭复极点的二阶系统）的LTI系统进行仿真，生成SI核函数，并将脉冲响应视为零均值高斯过程。
• 在超参数网格上对固定核函数（如SS、TC、DC、SI）进行锥组合，构建多核结构，以应对复杂先验知识（如多个时间常数或共振频率）。
• 采用经验贝叶斯与无偏风险估计进行超参数调优，确保核参数的连续且非组合式优化。
• 推导理论关系，表明DC与SS核函数是AMLS核函数的特例，并与最大熵原理相关联。
• 通过在具有不同系统动态特性的合成数据上，对多种核函数（TC、DC、SSp、AMLS-2Os、AMLS-2Od、SI-2Od）的模型拟合进行箱线图比较，验证框架的有效性。

实验结果

研究问题

• RQ1 如何系统化地设计核函数，以在LTI系统辨识中嵌入关于脉冲响应衰减与变化速率的先验知识？
• RQ2 现有广泛使用的核函数（如SS、DC）与所提出的AMLS核函数框架之间存在何种理论关系？
• RQ3 如何系统性地将系统理论先验知识（如稳定性、阻尼与共振频率）嵌入核函数设计中？
• RQ4 与现有经验性核函数相比，所提出的AMLS与SI核函数在偏差-方差权衡方面有何性能提升？
• RQ5 多核组合能否有效建模具有多个时间常数或共振频率的系统？

主要发现

• AMLS核函数框架将SS与DC核函数作为特例包含在内，表明它们属于幅度调制局部平稳核函数类别。
• SI核函数（基于具有共轭复极点的二阶系统）在振荡型脉冲响应上表现最佳，其平均准确性和鲁棒性均优于TC与AMLS-2Os。
• AMLS-2Od核函数（基于AMLS的二阶动力学）在平均准确性上优于TC与AMLS-2Os，尽管略低于DC与SI-2Od。
• SI核函数（5.2）在强振荡系统中最为有效，因其先验知识与真实系统结构高度匹配。
• 箱线图比较显示，6种核函数中仅有5种（TC、DC、SSp、AMLS-2Os、AMLS-2Od、SI-2Od）的模型拟合值低于零，其中SI-2Od与AMLS-2Od表现最优。
• 理论分析证实，DC与SS核函数可由特定LTI系统生成，且在最大熵原理下为最优，从而从系统理论视角验证了其设计的合理性。