[论文解读] Adapting to Unknown Noise Distribution in Matrix Denoising

Andrea Montanari, Feng Ruan+1 more|arXiv (Cornell University)|Oct 6, 2018

Random Matrices and Applications参考文献 29被引用 8

一句话总结

本文提出了一种自适应矩阵去噪方法，在未知噪声分布的情况下实现了极小化最大风险估计误差。通过利用费雪信息并引入数据驱动的非线性变换，该方法能够适应未知的独立同分布噪声，实现对低秩矩阵的弱恢复，达到信息论上最优的阈值 $(mn)^{1/4} \mathrm{I}_W^{1/2}$，在高维极限下与理论下界完全匹配。

ABSTRACT

We consider the problem of estimating an unknown matrix $\boldsymbol{X}\in {\mathbb R}^{m imes n}$, from observations $\boldsymbol{Y} = \boldsymbol{X}+\boldsymbol{W}$ where $\boldsymbol{W}$ is a noise matrix with independent and identically distributed entries, as to minimize estimation error measured in operator norm. Assuming that the underlying signal $\boldsymbol{X}$ is low-rank and incoherent with respect to the canonical basis, we prove that minimax risk is equivalent to $(\sqrt{m}\vee\sqrt{n})/\sqrt{I_W}$ in the high-dimensional limit $m,n o\infty$, where $I_W$ is the Fisher information of the noise. Crucially, we develop an efficient procedure that achieves this risk, adaptively over the noise distribution (under certain regularity assumptions). Letting $\boldsymbol{X} = \boldsymbol{U}{\boldsymbolΣ}\boldsymbol{V}^{\sf T}$ --where $\boldsymbol{U}\in {\mathbb R}^{m imes r}$, $\boldsymbol{V}\in{\mathbb R}^{n imes r}$ are orthogonal, and $r$ is kept fixed as $m,n o\infty$-- we use our method to estimate $\boldsymbol{U}$, $\boldsymbol{V}$. Standard spectral methods provide non-trivial estimates of the factors $\boldsymbol{U},\boldsymbol{V}$ (weak recovery) only if the singular values of $\boldsymbol{X}$ are larger than $(mn)^{1/4}{ m Var}(W_{11})^{1/2}$. We prove that the new approach achieves weak recovery down to the the information-theoretically optimal threshold $(mn)^{1/4}I_W^{1/2}$.

研究动机与目标

• 解决噪声分布未知但独立同分布且具有有限费雪信息时的矩阵去噪挑战。
• 弥合标准谱方法与低秩矩阵估计信息论最优恢复阈值之间的差距。
• 开发一种高效且自适应的算法，实现极小化最大风险，而无需知晓噪声分布。
• 建立在高维极限 $m,n \to \infty$ 下，最优估计误差为 $(\sqrt{m} \vee \sqrt{n}) / \sqrt{\mathrm{I}_W}$。

提出的方法

• 该方法基于得分函数 $-p_W'(x)/p_W(x)$ 构建数据自适应的非线性函数 $f_W(x)$，在满足矩约束条件下最小化估计误差。
• 利用费雪信息 $\mathrm{I}_W = \int \frac{(p_W')^2}{p_W} dx$ 作为噪声结构的代理，实现与分布无关的估计。
• 估计器对观测矩阵 $\boldsymbol{Y} = \boldsymbol{X} + \boldsymbol{W}$ 的每个分量应用非线性去噪函数 $f(\boldsymbol{Y})$，其中非线性函数 $f$ 的选择满足 $\mathbb{E}[f(W)] = 0$ 且 $\mathbb{E}[f'(W)] = 1$。
• 该方法实现的估计误差为 $\mathbb{E}[\|\hat{\boldsymbol{X}} - \boldsymbol{X}\|_{\rm op}] = (\sqrt{m} \vee \sqrt{n}) \cdot \mathrm{I}_W^{-1/2} + O(1)$，与极小化最大风险下界完全一致。
• 该方法对未知噪声分布具有鲁棒性，并能将奇异向量 $\boldsymbol{U}, \boldsymbol{V}$ 的弱恢复阈值推进至最优的 $ (mn)^{1/4} \mathrm{I}_W^{1/2} $。

实验结果

研究问题

• RQ1 我们能否在不知道噪声分布的情况下实现矩阵去噪的极小化最大风险估计误差？
• RQ2 在噪声未知的情况下，低秩矩阵估计的信息论最优恢复阈值是否能在实际中实现？
• RQ3 一种数据驱动的自适应去噪过程能否达到已知噪声分布的“预言家”算法的性能？
• RQ4 在未知独立同分布噪声下，低秩矩阵因子的弱恢复基本极限是什么？
• RQ5 费雪信息 $\mathrm{I}_W$ 是否能完全刻画高维矩阵去噪中的极小化最大风险？

主要发现

• 在高维极限 $m,n \to \infty$ 下，假设低秩与非相干性条件，矩阵去噪的极小化最大风险为 $ (\sqrt{m} \vee \sqrt{n}) / \sqrt{\mathrm{I}_W} $。
• 所提出的自适应估计器在 $p_W$ 满足正则性条件时，无需事先知道噪声分布即可达到该极小化最大风险。
• 奇异向量 $\boldsymbol{U}, \boldsymbol{V}$ 的弱恢复可实现至阈值 $ (mn)^{1/4} \mathrm{I}_W^{1/2} $，该阈值为信息论最优。
• 标准谱方法在阈值 $ (mn)^{1/4} \mathrm{Var}(W_{11})^{1/2} $ 以下失效，而新方法实现了更紧的 $ \mathrm{I}_W^{1/2} $ 阈值。
• 该方法高效且基于从得分函数导出的非线性函数，通过费雪信息匹配实现最优估计误差。