[论文解读] Finite Time Identification in Unstable Linear Systems

Mohamad Kazem Shirani Faradonbeh, Ambuj Tewari+1 more|arXiv (Cornell University)|Oct 5, 2017

Control Systems and Identification参考文献 17被引用 4

一句话总结

该论文为不稳定线性动态系统中过渡矩阵的最小二乘估计建立了有限时间识别边界，即使在重尾噪声下也成立。通过利用随机矩阵的浓度不等式和鞅差分的反浓度性质，推导出非渐近误差边界，其尺度依赖于系统维数、过渡矩阵的特征值特性以及噪声尾部行为。

ABSTRACT

Identification of the parameters of stable linear dynamical systems is a well-studied problem in the literature, both in the low and high-dimensional settings. However, there are hardly any results for the unstable case, especially regarding finite time bounds. For this setting, classical results on least-squares estimation of the dynamics parameters are not applicable and therefore new concepts and technical approaches need to be developed to address the issue. Unstable linear systems arise in key real applications in control theory, econometrics, and finance. This study establishes finite time bounds for the identification error of the least-squares estimates for a fairly large class of heavy-tailed noise distributions, and transition matrices of such systems. The results relate the time length (samples) required for estimation to a function of the problem dimension and key characteristics of the true underlying transition matrix and the noise distribution. To establish them, appropriate concentration inequalities for random matrices and for sequences of martingale differences are leveraged.

研究动机与目标

• 解决不稳定线性动态系统中有限时间识别结果的缺乏问题，其中经典最小二乘方法因状态爆炸而失效。
• 在一般重尾噪声分布下，为不稳定系统中过渡矩阵的最小二乘估计提供非渐近误差边界。
• 以系统维数、过渡矩阵的谱特性以及噪声尾部行为为指标，刻画准确识别所需的样本复杂度。
• 将随机矩阵理论和鞅差序列的理论工具扩展至不稳定动力系统，克服状态范数的指数增长问题。

提出的方法

• 通过过渡矩阵 $A_0$ 的谱分解，将状态向量动力学分解为稳定子空间与不稳定子空间。
• 应用随机矩阵的浓度不等式，控制不稳定子空间中状态轨迹的格拉姆矩阵的行为。
• 利用鞅差序列的反浓度性质，界定噪声加权状态矩阵的最大奇异值。
• 通过引入格拉姆矩阵 $\Sigma_n^{-1/2}$ 的逆平方根，形成类似正则化结构，以在高维不稳定设定下稳定估计。
• 通过将误差在稳定与不稳定子空间上分解，推导出最小二乘估计器 $\ell_2$ 估计误差的高概率边界。
• 利用谱范数和特征值衰减/增长速率（例如 $|\lambda_{\min}(A_2)|^{-n/3}$）量化不稳定动力对估计误差的影响。

实验结果

研究问题

• RQ1 在具有重尾噪声的不稳定线性系统中，最小二乘估计过渡矩阵的有限时间误差边界是什么？
• RQ2 所需样本量 $n$ 如何随系统维数和过渡矩阵的谱特性变化？
• RQ3 能否将随机矩阵的浓度不等式与鞅差的性质适配以处理具有指数增长状态范数的不稳定动力系统？
• RQ4 过渡矩阵的特征值与噪声分布的尾部行为在决定识别时间窗口方面起什么作用？
• RQ5 估计误差如何依赖于不稳定子空间的结构，特别是特征值的模与重数？

主要发现

• 该论文为不稳定线性系统在一般重尾噪声下的最小二乘估计器 $\ell_2$ 估计误差建立了高概率有限时间边界。
• 所需样本量 $n$ 与系统维数 $p$、过渡矩阵不稳定部分的谱半径以及噪声分布的尾部厚度相关。
• 在有利的谱条件下，误差边界以 $O(n^{-1/2})$ 速率衰减，但该速率受不稳定分量最小特征值的倒数调制。
• 对于不稳定子空间，估计误差通过一项控制，其尺度为 $n^{\mu(A_2) - 1/2} |\lambda_{\min}(A_2)|^{-2n/3}$，反映了状态范数的指数增长。
• 分析表明，即使系统不稳定，只要噪声为次高斯或具有有限矩的重尾分布，有限时间内的准确识别仍有可能实现。
• 所推导的边界为非渐近形式，明确量化了系统不稳定性、噪声特性与样本复杂度之间的权衡。