[论文解读] Missing Data in Sparse Transition Matrix Estimation for Sub-Gaussian Vector Autoregressive Processes

Amin Jalali, Rebecca Willett|arXiv (Cornell University)|Feb 26, 2018

Statistical Methods and Inference参考文献 7被引用 4

一句话总结

该论文提出了一种基于LASSO的新型估计器，用于在缺失数据条件下恢复高维子高斯向量自回归（VAR）模型中的稀疏转移矩阵，其中观测值通过独立同分布的伯努利掩码随机删失。该研究基于创新噪声的凸集中性性质，利用一种新的浓度不等式和一种新颖的依赖度量 $φ_2(B_0)$，建立了非渐近误差界。

ABSTRACT

High-dimensional time series data exist in numerous areas such as finance, genomics, healthcare, and neuroscience. An unavoidable aspect of all such datasets is missing data, and dealing with this issue has been an important focus in statistics, control, and machine learning. In this work, we consider a high-dimensional estimation problem where a dynamical system, governed by a stable vector autoregressive model, is randomly and only partially observed at each time point. Our task amounts to estimating the transition matrix, which is assumed to be sparse. In such a scenario, where covariates are highly interdependent and partially missing, new theoretical challenges arise. While transition matrix estimation in vector autoregressive models has been studied previously, the missing data scenario requires separate efforts. Moreover, while transition matrix estimation can be studied from a high-dimensional sparse linear regression perspective, the covariates are highly dependent and existing results on regularized estimation with missing data from i.i.d.~covariates are not applicable. At the heart of our analysis lies 1) a novel concentration result when the innovation noise satisfies the convex concentration property, as well as 2) a new quantity for characterizing the interactions of the time-varying observation process with the underlying dynamical system.

研究动机与目标

• 解决在部分且随机缺失数据条件下，高维向量自回归（VAR）模型中稀疏转移矩阵估计的挑战。
• 克服现有正则化估计方法的局限性，这些方法假设协变量独立同分布，而由于时间序列中存在强烈的时序依赖性和变量间依赖性，该假设不成立。
• 在子高斯创新噪声和稀疏转移结构的条件下，为缺失数据下的估计误差提供理论保证。
• 引入一种新的依赖度量 $φ_2(B_0)$，以表征时变观测过程与底层动力系统之间的相互作用。
• 在考虑缺失数据模式的约束优化框架下，为所提出的估计器提供非渐近的 $c2$ 和 $c1$ 误差界。

提出的方法

• 将估计问题表述为一种带有修正损失函数的约束LASSO优化，通过涉及样本自协方差对角矩阵 $cD$ 的校正项来处理缺失数据。
• 利用总体水平的观测模式调整损失函数，确保在非凸优化设置下的一致性，并避免解无界的问题。
• 为在创新噪声具有凸集中性性质的条件下，删失过程的经验协方差，推导出一种新型浓度不等式。
• 定义一种新的依赖度量 $φ_2(B_0)$，以量化观测过程与动力系统之间的相互作用，该度量在误差界中起核心作用。
• 结合标准LASSO分析框架（附录中的定理6）与新型矩阵浓度结果，对 $c1$ 和 $c2$ 范数下的估计误差进行上界控制。
• 通过算子范数不等式和谱分解技术推导误差界，尤其利用删失设计矩阵 $cX$ 及其与完整矩阵 $cW$ 的关系结构。

实验结果

研究问题

• RQ1 当观测值随机缺失时，如何在高维VAR模型中一致地进行稀疏转移矩阵估计？
• RQ2 在依赖性时间序列且协变量非独立同分布的条件下，分析正则化估计需要哪些新的理论工具，特别是当独立同分布协变量假设不成立时？
• RQ3 观测过程与底层动力系统之间的相互作用如何影响估计精度，又如何对其进行量化？
• RQ4 创新噪声的凸集中性性质对在缺失数据条件下经验矩集中性有何影响？
• RQ5 能否在该缺失数据设定下为LASSO型估计器建立非渐近误差界，其界中的关键依赖关系是什么？

主要发现

• 该论文在适当条件下，为所提出的LASSO估计器在缺失数据下的非渐近 $c1$ 和 $c2$ 估计误差界提供了理论保证，误差量级为 $O(\sqrt{\frac{\log p}{n}})$。
• 为在创新噪声具有凸集中性性质的条件下，删失过程的经验协方差，推导出一种新型浓度不等式，从而实现对估计误差的更紧密控制。
• 观测过程与动力系统之间的依赖性通过一种新引入的量 $φ_2(B_0)$ 来刻画，该量出现在误差界中，反映了稀疏性、时序依赖性和缺失性之间的相互作用。
• 所提出的估计器对缺失数据具有鲁棒性，在缺失概率 $δ < 1$ 的条件下，即使设计矩阵受到独立同分布的掩码干扰，仍能保持一致性。
• 误差界依赖于稀疏度水平 $k = \|B_0\|_0$、维度 $p$ 和样本量 $n$，且随着 $n$ 增大或 $k$ 减小，界值缩小。
• 该分析可推广至任意具有非零自协方差（滞后0和1）的协方差平稳观测过程，而不仅限于独立同分布的伯努利掩码，从而拓宽了在多样化缺失数据机制下的适用性。