[论文解读] Confidence Region of Singular Subspaces for Low-rank Matrix Regression

Dong Xia|arXiv (Cornell University)|May 24, 2018

Sparse and Compressive Sensing Techniques参考文献 43被引用 4

一句话总结

本文提出了一种两步去偏方法，用于在迹回归模型中构建低秩矩阵奇异子空间的渐近有效置信区域。在条件 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 下，建立了经验奇异子空间与真实奇异子空间之间联合投影距离的渐近正态性，从而实现了任意预设置信水平下的数据依赖性置信区域。

ABSTRACT

Low-rank matrix regression refers to the instances of recovering a low-rank matrix based on specially designed measurements and the corresponding noisy outcomes. In the last decade, numerous statistical methodologies have been developed for efficiently recovering the unknown low-rank matrices. However, in some applications, the unknown singular subspace is scientifically more important than the low-rank matrix itself. In this article, we revisit the low-rank matrix regression model and introduce a two-step procedure to construct confidence regions of the singular subspace. The procedure involves the de-biasing for the typical low-rank estimators after which we calculate the empirical singular vectors. We investigate the distribution of the joint projection distance between the empirical singular subspace and the unknown true singular subspace. We specifically prove the asymptotical normality of the joint projection distance with data-dependent centering and normalization when $r^{3/2}(m_1+m_2)^{3/2}=o(n/\log n)$ where $m_1, m_2$ denote the matrix row and column sizes, $r$ is the rank and $n$ is the number of independent random measurements. Consequently, we propose data-dependent confidence regions of the true singular subspace which attains any pre-determined confidence level asymptotically. In addition, non-asymptotical convergence rates are also established. Numerical results are presented to demonstrate the merits of our methods.

研究动机与目标

• 为解决在量子态层析成像、相位恢复和盲反卷积等应用中，奇异子空间通常比低秩矩阵本身更具科学相关性，而对奇异子空间进行统计推断的需求。
• 构建能够渐近达到任意预设置信水平的真实奇异子空间置信区域。
• 在迹回归模型下，建立奇异子空间估计的渐近与非渐近收敛速率。
• 为低秩矩阵恢复中当感兴趣的真实信号是奇异子空间时，提供一种理论基础坚实的不确定性量化方法。

提出的方法

• 两步程序：首先，对标准低秩矩阵估计器进行去偏，以校正奇异子空间估计中的偏差。
• 其次，从去偏估计器中计算经验奇异向量，以形成估计的奇异子空间。
• 推导在数据依赖性中心化与归一化下，经验奇异子空间与真实奇异子空间之间联合投影距离的渐近分布。
• 证明当 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 时，联合投影距离的渐近正态性，从而确保有效推断。
• 使用对称化与条件数学期望技术控制经验过程的偏离，依赖利普希茨性质与集中不等式。
• 应用矩阵集中与算子范数界，以控制去偏框架中随机矩阵分量的行为。

实验结果

研究问题

• RQ1 我们能否在迹回归模型中为低秩矩阵的奇异子空间构建有效的置信区域？
• RQ2 在何种条件下，经验奇异子空间与真实奇异子空间之间的联合投影距离会收敛到正态分布？
• RQ3 我们如何校正低秩矩阵估计器中的偏差，以实现对奇异子空间的准确推断？
• RQ4 在所提出的框架下，奇异子空间估计的非渐近收敛速率是什么？
• RQ5 该方法能否渐近达到任意预设的置信水平？

主要发现

• 当 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 时，在数据依赖性中心化与归一化下，经验奇异子空间与真实奇异子空间之间的联合投影距离渐近服从正态分布。
• 所提出的方法能够生成数据依赖性的置信区域，使真实奇异子空间的置信水平渐近达到任意预设水平。
• 建立了奇异子空间估计的非渐近收敛速率，量化了其与真实子空间的偏离程度。
• 去偏程序有效消除了标准低秩估计器中的偏差，从而实现了对奇异子空间的有效推断。
• 通过使用对称化、条件数学期望以及随机矩阵分量的测度集中技术，推导出理论保证。
• 该方法适用于量子态层析成像、相位恢复和盲反卷积等关键应用，其中奇异子空间是主要关注对象。