[论文解读] Linear System Identification via Atomic Norm Regularization

Parikshit Shah, Badri Narayan Bhaskar+2 more|arXiv (Cornell University)|Apr 3, 2012

Control Systems and Identification参考文献 15被引用 8

一句话总结

该论文提出了一种基于单极点滤波器的原子范数正则化的凸优化框架，用于线性系统辨识，能够在有限且含噪的测量数据下实现鲁棒估计。该方法在H₂-范数下实现了渐近一致性与紧密的误差界，通过ℓ₁-近似实现计算高效，并在理论上建立了估计误差与系统稳定性、McMillan阶数及测量次数之间的关联。

ABSTRACT

This paper proposes a new algorithm for linear system identification from noisy measurements. The proposed algorithm balances a data fidelity term with a norm induced by the set of single pole filters. We pose a convex optimization problem that approximately solves the atomic norm minimization problem and identifies the unknown system from noisy linear measurements. This problem can be solved efficiently with standard, freely available software. We provide rigorous statistical guarantees that explicitly bound the estimation error (in the H_2-norm) in terms of the stability radius, the Hankel singular values of the true system and the number of measurements. These results in turn yield complexity bounds and asymptotic consistency. We provide numerical experiments demonstrating the efficacy of our method for estimating linear systems from a variety of linear measurements.

研究动机与目标

• 开发一种从有限含噪输入-输出测量数据中识别线性时不变系统的一致性、计算高效的算法。
• 解决现有系统辨识技术在统计保证方面的不足，特别是针对有限样本性能、对噪声和模型失配的敏感性。
• 提供一种凸优化框架，通过原子范数正则化鼓励小McMillan阶数，从而促进低复杂度模型。
• 建立显式依赖于系统稳定性半径、Hankel奇异值及测量次数的H₂-范数下严格误差界。
• 证明该方法在小样本情况下优于子空间辨识方法，且无需预先知道系统阶数。

提出的方法

• 该方法将系统辨识建模为一个凸优化问题，通过最小化最小二乘数据保真项，并引入由单极点传递函数诱导的原子范数进行正则化。
• 证明原子范数等价于Hankel核范数，从而在理论上建立起与系统复杂性和稳定性的联系。
• 通过在极点空间上进行网格离散化，将无限维原子范数近似为有限维ℓ₁-正则化问题，从而可利用标准求解器高效求解。
• 测量模型假设系统频率响应在规则间隔下采样，噪声被建模为次高斯分布，从而支持概率误差分析。
• 利用凸分析和ε-网论证，将测量误差界与噪声统计特性及原子集的几何结构联系起来。
• 通过定义由极点、输入和输出参数化的有理传递函数的适当原子集，将该框架扩展至MIMO系统。

实验结果

研究问题

• RQ1 原子范数正则化能否在有限、含噪测量下提供一致的系统辨识，并给出显式的误差界？
• RQ2 估计误差如何随测量次数、系统稳定性半径和McMillan阶数变化？
• RQ3 当数据稀缺且系统阶数未知时，该方法能否优于传统子空间辨识方法？
• RQ4 原子范数方法在计算上是否可行且可扩展，特别是与半定规划方法相比？
• RQ5 该方法能否在保持统计一致性和计算效率的前提下扩展至MIMO系统？

主要发现

• 所提方法在H₂-范数下实现了渐近一致性，估计误差界以O(√(log m)/m)的速率衰减，其中m为测量次数，适用于规则采样。
• 误差界显式依赖于系统的稳定性半径和Hankel奇异值，量化了系统复杂性和稳定性对估计精度的影响。
• 数值实验表明，当测量次数较少（10–50）时，该方法（DAST）显著优于子空间辨识方法，尤其在真实系统阶数未知的情况下。
• 与子空间辨识不同，该方法无需预先知道系统阶数，后者在模型阶数误设时性能急剧下降。
• 通过在网格上进行ℓ₁-近似，原子范数正则化在计算上是实用的，避免了半定规划的超线性复杂度。
• 理论分析证实，该方法实现了接近最优的估计误差速率，通过更精细的原子集几何分析，仍有进一步优化的潜力。