[论文解读] Confidence interval of singular vectors for high-dimensional and low-rank matrix regression.

Dong Xia|arXiv (Cornell University)|May 24, 2018

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种针对高维低秩矩阵回归中奇异向量的置信区间构造方法，利用了估计奇异子空间与真实奇异子空间之间距离度量的渐近正态性。在秩和维度满足类似稀疏性条件下，建立了适当中心化和标准化后距离的渐近正态性，从而可在任意预设置信水平下构造有效的置信区间。

ABSTRACT

Let ${\bf M}\in\mathbb{R}^{m_1 imes m_2}$ be an unknown matrix with $r={ m rank}({\bf M})\ll \min(m_1,m_2)$ whose thin singular value decomposition is denoted by ${\bf M}={\bf U}{\bf \Lambda}{\bf V}^{ op}$ where ${\bf \Lambda}={ m diag}(\lambda_1,\cdots,\lambda_r)$ contains its non-increasing singular values. Low rank matrix regression refers to instances of estimating ${\bf M}$ from $n$ i.i.d. copies of random pair $\{({\bf X}, y)\}$ where ${\bf X}\in\mathbb{R}^{m_1 imes m_2}$ is a random measurement matrix and $y\in\mathbb{R}$ is a noisy output satisfying $y={ m tr}({\bf M}^{ op}{\bf X})+\xi$ with $\xi$ being stochastic error independent of ${\bf X}$. The goal of this paper is to construct efficient estimator (denoted by $\hat{\bf U}$ and $\hat{\bf V}$) and confidence interval of ${\bf U}$ and ${\bf V}$. In particular, we characterize the distribution of $$ { m dist}^2\big[(\hat{\bf U},\hat{\bf V}), ({\bf U},{\bf V})\big]=\|\hat{\bf U}\hat{\bf U}^{ op}-{\bf U}{\bf U}^{ op}\|_{ m F}^2+\|\hat{\bf V}\hat{\bf V}^{ op}-{\bf V}{\bf V}^{ op}\|_{ m F}^2. $$ We prove the asymptotical normality of properly centered and normalized ${ m dist}^2\big[(\hat{\bf U},\hat{\bf V}), ({\bf U},{\bf V})\big]$ with data-dependent centering and normalization when $r^{5/2}(m_1+m_2)^{3/2}=o(n/\log n)$, based on which confidence interval of ${\bf U}$ and ${\bf V}$ is constructed achieving any pre-determined confidence level asymptotically.

研究动机与目标

• 在回归设定下，为低秩高维矩阵的左奇异向量和右奇异向量构建统计上有效的置信区间。
• 刻画在Frobenius范数下，估计奇异子空间与真实奇异子空间之间平方距离的分布。
• 在高维情形下，当 $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 时，建立标准化并中心化后距离度量的渐近正态性。
• 在高维设定下，实现对奇异子空间的任意预设置信水平的统计推断。

提出的方法

• 使用薄奇异值分解 $ \mathbf{M} = \mathbf{U} \boldsymbol{\Lambda} \mathbf{V}^\top $ 来表示未知的低秩矩阵。
• 将平方距离 $ \text{dist}^2[(\hat{\mathbf{U}}, \hat{\mathbf{V}}), (\mathbf{U}, \mathbf{V})] = \|\hat{\mathbf{U}}\hat{\mathbf{U}}^\top - \mathbf{U}\mathbf{U}^\top\|_F^2 + \|\hat{\mathbf{V}}\hat{\mathbf{V}}^\top - \mathbf{V}\mathbf{V}^\top\|_F^2 $ 定义为推断的关键统计量。
• 对距离统计量应用数据依赖的中心化和标准化，以实现渐近正态性。
• 在条件 $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 下推导渐近分布，确保当 $ n \to \infty $ 时正态近似成立。
• 基于标准化距离的渐近正态性，构建 $ \mathbf{U} $ 和 $ \mathbf{V} $ 的置信区间。

实验结果

研究问题

• RQ1 我们能否在高维低秩矩阵回归中为左奇异向量 $ \mathbf{U} $ 构造置信区间？
• RQ2 在相同模型下，我们能否类似地为右奇异向量 $ \mathbf{V} $ 构造置信区间？
• RQ3 在Frobenius范数下，估计奇异子空间与真实奇异子空间之间距离的渐近分布是什么？
• RQ4 在何种条件下，标准化并中心化后的距离统计量收敛到正态分布？

主要发现

• 本文建立了估计奇异子空间与真实奇异子空间之间平方距离的适当中心化和标准化版本的渐近正态性。
• 该渐近正态性在条件 $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 下成立，该条件允许在 $ m_1, m_2 $ 增长且 $ r $ 适中时的高维设定。
• 对 $ \mathbf{U} $ 和 $ \mathbf{V} $ 的置信区间在渐近意义上可实现任意预设置信水平。
• 该方法依赖于数据依赖的中心化和标准化，使其在实际应用中可行。
• 该结果使得在奇异子空间上进行有效的统计推断成为可能，且无需对误差分布施加强参数假设，仅需独立性假设。