[论文解读] Masked Toeplitz covariance estimation

Maryia Kabanava, Holger Rauhut|arXiv (Cornell University)|Sep 27, 2017

Random Matrices and Applications参考文献 22被引用 5

一句话总结

本文提出了一种用于高维数据的掩码托普利茨协方差估计器，当真实协方差矩阵既稀疏又具有托普利茨结构时，利用谱密度函数的谱范数界进行估计。在高斯分布和凸集中性假设下，建立了改进的估计误差界，显著推广了先前结果，通过将托普利茨矩阵范数与谱密度行为联系起来，实现了理论突破。

ABSTRACT

The problem of estimating the covariance matrix $Σ$ of a $p$-variate distribution based on its $n$ observations arises in many data analysis contexts. While for $n>p$, the classical sample covariance matrix $\hatΣ_n$ is a good estimator for $Σ$, it fails in the high-dimensional setting when $n\ll p$. In this scenario one requires prior knowledge about the structure of the covariance matrix in order to construct reasonable estimators. Under the common assumption that $Σ$ is sparse, a refined estimator is given by $M\cdot\hatΣ_n$, where $M$ is a suitable symmetric mask matrix indicating the nonzero entries of $Σ$ and $\cdot$ denotes the entrywise product of matrices. In the present work we assume that $Σ$ has Toeplitz structure corresponding to stationary signals. This suggests to average the sample covariance $\hatΣ_n$ over the diagonals in order to obtain an estimator $ ildeΣ_n$ of Toeplitz structure. Assuming in addition that $Σ$ is sparse suggests to study estimators of the form $M\cdot ildeΣ_n$. For Gaussian random vectors and, more generally, random vectors satisfying the convex concentration property, our main result bounds the estimation error in terms of $n$ and $p$ and shows that accurate estimation is indeed possible when $n \ll p$. The new bound significantly generalizes previous results by Cai, Ren and Zhou and provides an alternative proof. Our analysis exploits the connection between the spectral norm of a Toeplitz matrix and the supremum norm of the corresponding spectral density function.

研究动机与目标

• 解决样本量 n 远小于维度 p 的高维设定下的协方差估计挑战。
• 在稀疏性之外引入结构假设——具体而言，利用平稳性带来的托普利茨结构，以提升估计精度。
• 通过利用托普利茨矩阵的谱性质，推广现有的掩码协方差估计结果。
• 在高斯分布和凸集中性假设下，推导掩码托普利茨估计器的非渐近误差界。

提出的方法

• 提出两步估计器：首先对样本协方差矩阵沿对角线进行平均，以强制实现托普利茨结构，得到 $\tilde{\Sigma}_n$；然后应用对称掩码矩阵 $M$ 以强制实现稀疏性，得到 $M \cdot \tilde{\Sigma}_n$。
• 通过将估计误差分解为偏差和方差两部分进行分析，其中方差项利用次高斯和次伽马集中不等式进行有界。
• 建立托普利茨矩阵的谱范数与其谱密度函数的上确界范数之间的关键联系。
• 使用覆盖论证和矩不等式来控制掩码样本协方差矩阵的谱范数。
• 应用高斯集中性和解耦技术，推导 $M \cdot \tilde{\Sigma}_n$ 与 $M \cdot \Sigma$ 偏差的高概率界。
• 以 $\|\omega\|_{2,*}$ 和 $\|\omega\|_{1,*}$ 的形式推导误差界，这两个量量化了掩码在频域中的稀疏性和结构特征。

实验结果

研究问题

• RQ1 在高维设定下（$n \ll p$），当真实协方差矩阵既稀疏又具有托普利茨结构时，能否实现精确的协方差估计？
• RQ2 在次高斯或凸集中性假设下，掩码托普利茨协方差估计器的谱范数行为如何？
• RQ3 谱密度函数在约束结构协方差矩阵估计误差界中的作用是什么？
• RQ4 通过引入托普利茨结构，能否显著改进掩码协方差估计的误差界？
• RQ5 与先前结果相比，该方法在对数项和样本量依赖性方面表现如何？

主要发现

• 本文在概率至少 $1 - 8pe^{-t}$ 下，建立了谱范数误差的高概率界：$\|M \cdot \tilde{\Sigma}_n - M \cdot \Sigma\| \leq C_2 K^2 \left( \|\omega\|_{2,*} \sqrt{\frac{t}{n}} + \frac{\|\omega\|_{1,*} t}{n} \right)$，其中 $\|\omega\|_{2,*}$ 和 $\|\omega\|_{1,*}$ 量化了掩码的稀疏性与结构特征。
• 对于高斯向量，期望误差被界为 $\mathbb{E}\|M \cdot \tilde{\Sigma}_n - M \cdot \Sigma\| \leq C_3 K^2 \left( \|\omega\|_{2,*} \sqrt{\frac{\log p}{n}} + \|\omega\|_{1,*} \frac{\log p}{n} \right)$，相较于先前工作，对 $n$ 和 $p$ 的依赖关系得到显著改善。
• 通过利用托普利茨矩阵的谱密度表示及其与矩阵谱范数的关联，该方法实现了比以往方法更紧的误差界。
• 该分析通过允许满足凸集中性性质的更广泛分布类，推广了 Cai、Ren 和 Zhou 的先前结果。
• 对于带状和窗化掩码，误差界显示其随 $\sqrt{m/n} + m/n$ 变化，当掩码每列最多有 $m$ 个非零元素时，与已知速率一致，但常数更优且更具一般性。
• 本文通过谱密度技术提供了现有结果的替代证明，为在托普利茨与稀疏性约束下协方差估计的结构提供了新见解。