[论文解读] Estimation of (near) low-rank matrices with noise and high-dimensional scaling

Sahand Negahban, Martin J. Wainwright|ArXiv.org|Dec 27, 2009

Sparse and Compressive Sensing Techniques参考文献 54被引用 44

一句话总结

本文提出了一种核范数正则化的M-估计器，用于在高维尺度和噪声观测下估计（近似）低秩矩阵。该文建立了依赖于观测算子的限制强凸性及与谱范数成比例的正则化参数的非渐近Frobenius范数误差界，实现了在矩阵秩相对于样本大小和维度较小时的一致恢复。

ABSTRACT

High-dimensional inference refers to problems of statistical estimation in which the ambient dimension of the data may be comparable to or possibly even larger than the sample size. We study an instance of high-dimensional inference in which the goal is to estimate a matrix $Θ^* \in eal^{k imes p}$ on the basis of $N$ noisy observations, and the unknown matrix $Θ^*$ is assumed to be either exactly low rank, or ``near'' low-rank, meaning that it can be well-approximated by a matrix with low rank. We consider an $M$-estimator based on regularization by the trace or nuclear norm over matrices, and analyze its performance under high-dimensional scaling. We provide non-asymptotic bounds on the Frobenius norm error that hold for a general class of noisy observation models, and then illustrate their consequences for a number of specific matrix models, including low-rank multivariate or multi-task regression, system identification in vector autoregressive processes, and recovery of low-rank matrices from random projections. Simulation results show excellent agreement with the high-dimensional scaling of the error predicted by our theory.

研究动机与目标

• 解决环境维度与样本大小相当或更大的高维矩阵估计问题。
• 分析核范数正则化在恢复精确或近似低秩矩阵时的性能。
• 在一般噪声观测模型下，推导Frobenius范数下的非渐近误差界。
• 建立在高维设置下一致恢复可能的条件，特别是通过限制强凸性。
• 为正则化参数的选择提供理论基础，其与观测算子的谱范数相关。

提出的方法

• 使用线性算子 $\mathfrak{X}$ 构建一般观测模型，将未知矩阵 $\Theta^*$ 映射到 $N$ 个噪声观测值。
• 提出一种通过核范数（奇异值之和）正则化的M-估计器，以促进低秩结构。
• 通过分析观测算子 $\mathfrak{X}$ 的限制强凸性（RSC）性质，建立非渐近误差界。
• 利用高斯尾部浓度不等式和随机矩阵理论，推导估计器误差的高概率界。
• 推导出与数据相关的正则化参数，其与噪声算子的谱范数成比例，确保偏差与方差之间的最优权衡。
• 将一般理论应用于具体模型，包括多元回归、向量自回归过程以及基于随机投影的矩阵恢复。

实验结果

研究问题

• RQ1 在何种条件下，可以从噪声高维观测中一致估计低秩矩阵？
• RQ2 在 $N$ 和 $\min\{k,p\}$ 均增长的非渐近设置下，核范数正则化表现如何？
• RQ3 正则化参数的最优选择应如何基于观测算子的谱范数确定？
• RQ4 限制强凸性（RSC）条件如何影响高维矩阵估计中的误差界？
• RQ5 理论误差界在模拟研究中与实际性能的匹配程度如何？

主要发现

• 核范数正则化估计器的Frobenius范数误差以高概率被一个与 $\sqrt{r(k+p)/N}$ 成比例的项所界定，其中 $r$ 为矩阵秩，$k,p$ 为矩阵维度。
• 误差界依赖于观测算子 $\mathfrak{X}$ 的限制强凸性（RSC）常数，该常数确保了足够曲率以实现一致恢复。
• 正则化参数应与噪声算子的谱范数成比例设置，以确保估计偏差与方差之间的最优平衡。
• 对于随机投影模型，理论预测的误差标度与模拟结果一致，验证了高维尺度下的行为。
• 所推导的界对精确低秩和近似低秩矩阵均成立，后者情形需引入与逼近误差相关的容差项。
• 分析证实核范数作为秩最小化的凸替代，可在高维尺度下实现一致恢复。