[论文解读] Kernels for linear time invariant system identification

Francesco Dinuzzo|arXiv (Cornell University)|Mar 22, 2012

Control Systems and Identification参考文献 19被引用 5

一句话总结

本文提出了一套系统化的核函数设计框架，用于再生核希尔伯特空间（RKHS）中的核函数设计，以通过整合因果性、稳定性、平滑性、相对阶次和时延等结构性质，改进线性时不变（LTI）系统辨识。研究表明，标准的平移不变核函数（如RBF）不适用于稳定脉冲响应的建模，因此本文提出了专门设计的核函数，以强制实施系统特定的约束条件，从而实现更优的正则化，并通过核学习提升辨识性能。

ABSTRACT

In this paper, we study the problem of identifying the impulse response of a linear time invariant (LTI) dynamical system from the knowledge of the input signal and a finite set of noisy output observations. We adopt an approach based on regularization in a Reproducing Kernel Hilbert Space (RKHS) that takes into account both continuous and discrete time systems. The focus of the paper is on designing spaces that are well suited for temporal impulse response modeling. To this end, we construct and characterize general families of kernels that incorporate system properties such as stability, relative degree, absence of oscillatory behavior, smoothness, or delay. In addition, we discuss the possibility of automatically searching over these classes by means of kernel learning techniques, so as to capture different modes of the system to be identified.

研究动机与目标

• 解决标准核函数（如RBF）在识别稳定LTI系统脉冲响应时的局限性。
• 建立一个统一的函数分析框架，用于连续时间和离散时间LTI系统辨识，通过RKHS中的正则化实现。
• 系统性地设计核函数族，以编码系统特定的性质，如稳定性、相对阶次、时延以及无振荡性。
• 通过多核学习（MKL）等技术实现自动核选择，以适应多样的系统行为。
• 为标准平移不变核函数在稳定脉冲响应建模中失效的原因提供理论依据。

提出的方法

• 将LTI系统辨识建模为再生核希尔伯特空间（RKHS）中的正则化逆问题，最小化数据拟合损失与希尔伯特范数正则化项的和。
• 利用表示定理，将无穷维优化问题转化为在 R^ℓ 中系数向量上的有限维问题。
• 构造核函数以通过确保当 t < 0 时 K(t,τ) = 0 来强制实现因果性，通过设置当 t < D 时 K(t,τ) = 0 来实现时延。
• 通过核函数的可积性来实现稳定性，确保所诱导系统的有界输入有界输出（BIBO）稳定性。
• 通过要求核函数及其前 k−1 阶时间导数在 t = 0 处为零，来强制实现平滑性与相对阶次 k，从而保证 h^(i)(0) = 0 对所有 i < k 成立。
• 应用核学习技术（如多核学习，MKL）自动搜索核函数族，并适应未知的系统动态特性。

实验结果

研究问题

• RQ1 为何标准的平移不变核函数（如RBF）不适用于建模稳定LTI系统的脉冲响应？
• RQ2 如何系统性地设计核函数，以在LTI系统辨识中编码因果性、稳定性与相对阶次等结构性质？
• RQ3 核函数正则化在RKHS中能否为连续时间与离散时间LTI系统提供统一的框架，且适用于任意采样率？
• RQ4 多核学习等核学习技术在多大程度上可通过适应未知系统特性来提升系统辨识性能？
• RQ5 核函数需满足何种理论条件，才能确保RKHS中的所有函数均满足期望的系统性质（如平滑性或无振荡性）？

主要发现

• 标准RBF及其他平移不变核函数无法有效建模稳定LTI系统的脉冲响应，因其未强制实施因果性或衰减特性，导致泛化性能差。
• 通过要求当 t < 0 时核函数 K(t,τ) 为零，可强制实现因果性，从而确保脉冲响应在负时间区间为零。
• 若核函数在 R² 上可积，则可保证所诱导系统的BIBO稳定性。
• 通过要求核函数及其前 k−1 阶时间导数在 t = 0 处为零，可强制实现相对阶次 k，从而确保脉冲响应及其前 k−1 阶导数在 t = 0 处为零。
• 若核函数在 (0,∞) 上 k 次连续可微，则可确保RKHS中所有函数在该区间上 k 次连续可微，从而保证平滑性。
• 理论分析证明，多核学习（MKL）等核学习技术可有效用于自动选择核函数族，从而实现对多样化系统行为的自适应建模。