[论文解读] Asymptotic Theory for Estimating the Singular Vectors and Values of a Partially-observed Low Rank Matrix with Noise

Juhee Cho, Donggyu Kim+1 more|arXiv (Cornell University)|Aug 21, 2015

Sparse and Compressive Sensing Techniques参考文献 2被引用 8

一句话总结

本文提出了在存在缺失条目和独立同分布噪声的低秩矩阵观测下，对奇异向量和奇异值的偏差校正估计量。尽管观测不完全，这些估计量仍能达到与完全观测情况相同的收敛速率，并构造出一个一步一致的矩阵估计量，其均方误差达到Koltchinskii等人（2011a）所给出的极小化风险下界。

ABSTRACT

Matrix completion algorithms recover a low rank matrix from a small fraction of the entries, each entry contaminated with additive errors. In practice, the singular vectors and singular values of the low rank matrix play a pivotal role for statistical analyses and inferences. This paper proposes estimators of these quantities and studies their asymptotic behavior. Under the setting where the dimensions of the matrix increase to infinity and the probability of observing each entry is identical, Theorem 4.1 gives the rate of convergence for the estimated singular vectors; Theorem 4.3 gives a multivariate central limit theorem for the estimated singular values. Even though the estimators use only a partially observed matrix, they achieve the same rates of convergence as the fully observed case. These estimators combine to form a consistent estimator of the full low rank matrix that is computed with a non-iterative algorithm. In the cases studied in this paper, this estimator achieves the minimax lower bound in Koltchinskii et al. (2011). The numerical experiments corroborate our theoretical results.

研究动机与目标

• 开发当仅部分条目被观测且每个条目受独立同分布噪声污染时，对低秩矩阵的奇异向量和奇异值的统计有效估计量。
• 解决在零填充的不完全观测矩阵上应用标准SVD时固有的偏差问题，该偏差会扭曲奇异向量和奇异值的估计。
• 在矩阵维度随样本量增加的渐近条件下，建立估计奇异值的渐近分布以及估计奇异向量的收敛速率。
• 构建一个非迭代的、一步完成的全低秩矩阵估计量，使其达到极小化最优均方误差。

提出的方法

• 通过利用观测条目概率和噪声方差推导出的校正项，对零填充矩阵上朴素SVD的奇异向量估计进行偏差校正，提出一种偏差校正奇异向量估计量。
• 在矩阵维度 $ n, d \to \infty $ 且观测概率 $ p $ 为常数的假设下，推导偏差校正奇异向量估计量的收敛速率。
• 在高维渐近框架下，建立偏差校正奇异值的多变量中心极限定理，证明其渐近正态性。
• 将偏差校正后的奇异向量与奇异值组合，构造全矩阵 $ \hat{M}(s_0) $ 的一步估计量，避免迭代SVD或特征分解。
• 使用Frobenius范数衡量估计误差，并证明所得矩阵估计量达到Koltchinskii等人（2011a）所推导的极小化下界。
• 运用随机矩阵理论工具，包括Weyl定理和集中不等式，控制噪声和估计误差矩阵的谱范数。

实验结果

研究问题

• RQ1 当仅观测到部分条目且每个条目受独立同分布噪声污染时，能否构造出对低秩矩阵奇异向量和奇异值的一致估计量？
• RQ2 在部分观测条件下，奇异向量估计量的收敛速率如何？其速率是否与完全观测情况相比仅相差一个常数因子？
• RQ3 在高维渐近条件下，估计奇异值的分布是否收敛到多变量正态分布？
• RQ4 能否利用估计的奇异向量和奇异值构造一个非迭代的、一步完成的全低秩矩阵估计量？该估计量是否达到极小化最优均方误差？
• RQ5 零填充未观测条目所引入的偏差如何影响奇异向量和奇异值的估计？该偏差能否被有效校正？

主要发现

• 偏差校正奇异向量估计量的收敛速率为 $ O_p\left(\frac{1}{\sqrt{p}} + \frac{1}{p}\sqrt{\frac{d}{n}}\right) $，与完全观测情况的速率一致，仅相差一个依赖于 $ p $ 的常数因子。
• 估计奇异值满足多变量中心极限定理，其渐近正态性在高维渐近框架下得以建立。
• 由偏差校正奇异向量与奇异值构造的一步矩阵估计量 $ \hat{M}(s_0) $，其均方误差达到Koltchinskii等人（2011a）所推导的极小化下界。
• 全矩阵估计量的Frobenius范数误差为 $ \frac{1}{p b_r^4} O_p(n) $，表明估计精度随观测概率 $ p $ 的减小而下降，但整体仍保持最优（仅相差常数因子）。
• 数值实验验证了奇异值估计量的理论收敛速率与渐近正态性。
• 研究表明，零填充矩阵上朴素SVD的偏差是显著的，并可通过所提出的校正机制系统性地校正。