[论文解读] Finite-Time System Identification for Partially Observed LTI Systems of Unknown Order.

Tuhin Subhra Sarkar, Alexander Rakhlin+1 more|arXiv (Cornell University)|Feb 5, 2019

Control Systems and Identification参考文献 24被引用 58

一句话总结

本文提出了一种针对稳定LTI系统（未知阶数）的有限时间系统辨识方法，采用类似Hankel的最小二乘法形式，避免非凸性，实现高精度的低阶近似。该方法实现了最小最大最优阶数选择，并在数据依赖的模型阶数估计下，实现了对真实系统的高概率近似。

ABSTRACT

We address the problem of learning the parameters of a stable linear time invariant (LTI) system with unknown latent space dimension, or extit{order}, from its noisy input-output data. In particular, we focus on learning the parameters of the best lower order approximation allowed by the finite data. This is achieved by constructing a Hankel-like representation of the underlying system using ordinary least squares. Such a representation circumvents the non-convexities that typically arise in system identification, and it allows accurate estimation of the underlying LTI system. Our results rely on a careful analysis of a self-normalized martingale difference term that helps bound identification error up to logarithmic factors of the lower bound. We provide a data-dependent scheme for order selection and find a realization of system parameters, corresponding to that order, by an approach that is closely related to the celebrated Kalman-Ho subspace algorithm. We show that this realization is a good approximation of the underlying LTI system with high probability. Finally, we demonstrate that the proposed model order selection procedure is minimax optimal, i.e., for the given data length it is not always possible to estimate higher order models or find higher order approximations with reasonable accuracy.

研究动机与目标

• 针对仅使用噪声输入输出数据的稳定LTI系统（未知潜在维数，即阶数），解决系统辨识问题。
• 开发一种方法，估计在有限数据下允许的最佳低阶近似，避免非凸优化的挑战。
• 提供一种数据依赖的模型阶数选择程序，该程序在给定数据长度下为最小最大最优。
• 通过与Kalman-Ho子空间算法紧密相关的实现方法，确保对底层系统的高概率近似。
• 建立识别误差的理论界，其紧致性仅比最小最大下界多对数因子。

提出的方法

• 基于输入输出数据，使用普通最小二乘法构建系统脉冲响应的类似Hankel矩阵表示。
• 使用自归一化的鞅差项控制估计误差，并推导出高概率界。
• 基于Hankel矩阵的奇异值，采用数据依赖的阶数选择方案，确定最小充分模型阶数。
• 通过与Kalman-Ho子空间算法密切相关的方法重构系统参数，以确保稳定性和准确性。
• 利用Hankel矩阵的结构，规避非凸优化，实现凸且可计算的估计。
• 使用集中不等式和鞅技术分析识别误差，以获得紧致的误差界。

实验结果

研究问题

• RQ1 我们能否在有限、噪声的输入输出数据下，使用凸优化框架识别未知阶数的稳定LTI系统？
• RQ2 如何以数据驱动方式选择模型阶数，以确保对真实系统的高概率近似？
• RQ3 在有限时间观测下，对未知阶数系统，识别精度的根本极限是什么？
• RQ4 所提方法能否在模型阶数选择与参数估计中实现最小最大最优性？
• RQ5 自归一化的鞅差项在有限时间系统辨识中如何贡献于紧致的误差界？

主要发现

• 所提方法通过构建基于Hankel的最小二乘估计器，实现了对底层LTI系统的高概率近似。
• 识别误差的上界仅比最小最大下界多对数因子，表明性能接近最优。
• 数据依赖的模型阶数选择程序为最小最大最优，意味着在相同数据长度下，无法用更高阶模型获得相当的精度。
• 通过使用类似Hankel的表示，该方法避免了非凸性，实现了凸且稳定的参数估计。
• 通过受Kalman-Ho启发的参数实现方法，得到对真实系统的稳定且精确的近似。
• 理论分析证实，该方法的误差界是紧致的，主要误差项由自归一化的鞅差序列控制。