[论文解读] Detection thresholds in very sparse matrix completion

Charles Bordenave, Simon Coste+1 more|arXiv (Cornell University)|May 12, 2020

Random Matrices and Applications被引用 6

一句话总结

本文提出了一种新颖的非对称矩阵分解方法，通过利用随机条目掩码，在极稀疏的矩阵补全中显著提升了检测阈值。通过分析 $ A_1(A - A_1)^* $ 和 $ (A - A_1)^*A_1 $ 的非厄米特特征谱，该方法在仅观测到每行 $ d \asymp 1 $ 个条目时，仍能实现低秩矩阵的统计最优恢复，且奇异向量具有非相干性，从而打破了传统的 $ d \asymp \log n $ 信息论障碍。

ABSTRACT

Let $A$ be a rectangular matrix of size $m imes n$ and $A_1$ be the random matrix where each entry of $A$ is multiplied by an independent $\{0,1\}$-Bernoulli random variable with parameter $1/2$. This paper is about when, how and why the non-Hermitian eigen-spectra of the randomly induced asymmetric matrices $A_1 (A - A_1)^*$ and $(A-A_1)^*A_1$ captures more of the relevant information about the principal component structure of $A$ than via its SVD or the eigen-spectra of $A A^*$ and $A^* A$, respectively. Hint: the asymmetry inducing randomness breaks the echo-chamber effect that cripples the SVD. We illustrate the application of this striking phenomenon on the low-rank matrix completion problem for the setting where each entry is observed with probability $d/n$, including the very sparse regime where $d$ is of order $1$, where matrix completion via the SVD of $A$ fails or produces unreliable recovery. We determine an asymptotically exact, matrix-dependent, non-universal detection threshold above which reliable, statistically optimal matrix recovery using a new, universal data-driven matrix-completion algorithm is possible. Averaging the left and right eigenvectors provably improves the recovered matrix but not the detection threshold. We define another variant of this asymmetric procedure that bypasses the randomization step and has a detection threshold that is smaller by a constant factor but with a computational cost that is larger by a polynomial factor of the number of observed entries. Both detection thresholds shatter the seeming barrier due to the well-known information theoretical limit $d \asymp \log n$ for matrix completion found in the literature.

研究动机与目标

• 克服在极稀疏矩阵补全中 $ d \asymp \log n $ 的信息论极限。
• 开发一种方法，当仅观测到矩阵 $ P $ 的稀疏条目子集时，能够可靠地检测其主成分结构。
• 证明通过伯努利掩码矩阵 $ A_1 $ 引入的非对称性和随机性，可使谱恢复性能超越标准 SVD。
• 建立一个显式依赖于 $ P $ 的元素分布的非通用检测阈值。

提出的方法

• 使用独立同分布的伯努利(1/2)矩阵 $ Z $ 随机掩码矩阵 $ A $ 的一半观测条目，形成 $ A_1 = Z \odot A $ 和 $ A_2 = A - A_1 $。
• 构建两个非对称矩阵：$ X = A_1 A_2^* $ 和 $ Y = A_1^* A_2 $，并分析其非厄米特特征谱以实现谱恢复。
• 利用谱扰动理论和图论工具（如 Galton-Watson 树和非回溯随机游走）分析特征值与特征向量相对于 $ PP^* $ 和 $ P^*P $ 的对齐情况。
• 建立一个检测阈值 $ \vartheta $，使得 $ X $ 和 $ Y $ 的模大于 $ \vartheta $ 的特征值对应于 $ P $ 的奇异值，且特征向量对齐。
• 证明该阈值 $ \vartheta $ 渐近精确且非通用，显式依赖于 $ P $ 的条目分布。
• 提出一种确定性变体，消除随机性，但以计算复杂度增加多项式因子为代价，将阈值降低常数倍。

实验结果

研究问题

• RQ1 当每行仅观测到 $ d \asymp 1 $ 个条目时，能否可靠检测低秩矩阵 $ P $ 的主成分结构？
• RQ2 通过随机掩码矩阵 $ A_1 $ 引入非对称性和随机性，是否能实现优于对观测矩阵 $ A $ 进行标准 SVD 的谱恢复性能？
• RQ3 从 $ X = A_1 A_2^* $ 和 $ Y = A_1^* A_2 $ 的特征谱中识别 $ P $ 的非零奇异值的精确检测阈值 $ \vartheta $ 是什么？
• RQ4 检测阈值如何依赖于 $ P $ 的元素分布？是否可以突破 $ d \asymp \log n $ 的障碍？
• RQ5 是否存在一种数据驱动的、通用的算法，在该阈值之上可实现可靠的矩阵恢复？平均化特征向量是否能提高精度？

主要发现

• $ X = A_1 A_2^* $ 和 $ Y = A_1^* A_2 $ 的特征值中，模大于阈值 $ \vartheta $ 的特征值在 $ n \to \infty $ 时以高概率渐近等于 $ P $ 的奇异值 $ \sigma_k^2 $。
• $ X $ 和 $ Y $ 的对应右、左特征向量与 $ P $ 的奇异向量对齐，从而能够一致估计主成分结构。
• 检测阈值 $ \vartheta $ 是非通用的，显式依赖于 $ P $ 的条目分布，与 $ \log n $ 等通用阈值不同。
• 在该阈值之上，即使在 $ d \asymp 1 $ 的极稀疏情形下，仍可通过通用、数据驱动的算法实现可靠且统计最优的矩阵恢复。
• 平均化左右特征向量可提高估计精度，但不会改善检测阈值。
• 该方法的确定性变体可将阈值降低常数倍，但使计算成本在观测条目数上增加多项式因子。