[论文解读] Generalized SURE for optimal shrinkage of singular values in low-rank matrix denoising

Jérémie Bigot, Charles Deledalle+1 more|arXiv (Cornell University)|May 24, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用 14

一句话总结

本文针对指数族噪声模型下的低秩矩阵去噪问题，提出了广义 Stein 无偏风险估计（GSURE），用于最优奇异值收缩。该方法推导出基于 SURE 类公式的、可数据驱动的谱估计器，适用于高斯、伽马和泊松分布的数据，具有理论保证，并在渐近和有限样本设置下得到数值验证。

ABSTRACT

We consider the problem of estimating a low-rank signal matrix from noisy measurements under the assumption that the distribution of the data matrix belongs to an exponential family. In this setting, we derive generalized Stein's unbiased risk estimation (SURE) formulas that hold for any spectral estimators which shrink or threshold the singular values of the data matrix. This leads to new data-driven spectral estimators, whose optimality is discussed using tools from random matrix theory and through numerical experiments. Under the spiked population model and in the asymptotic setting where the dimensions of the data matrix are let going to infinity, some theoretical properties of our approach are compared to recent results on asymptotically optimal shrinking rules for Gaussian noise. It also leads to new procedures for singular values shrinkage in finite-dimensional matrix denoising for Gamma-distributed and Poisson-distributed measurements.

研究动机与目标

• 开发一种超越高斯假设的低秩矩阵去噪中奇异值最优收缩的通用框架。
• 将 Stein 无偏风险估计（SURE）扩展至指数族分布，包括连续型（如伽马分布）和离散型（如泊松分布）情况。
• 推导出无需事先知晓信号秩或噪声方差信息的、可数据驱动的谱估计器，以最小化风险。
• 在脊型总体模型下分析所提估计器的渐近行为，并与高斯噪声下的已知最优规则进行比较。
• 提出高效算法，利用蒙特卡洛方法和一阶近似技术，在线性时间内计算广义 SURE 及其近似值。

提出的方法

• 推导出适用于任意谱估计器（在保持奇异向量的同时收缩奇异值）的指数族模型中风险估计的广义 SURE（GSURE）公式。
• 提出三种风险估计变体：适用于连续指数族的 SUKLS、适用于离散情形的 PURE，以及适用于泊松分布数据的 PUKLA，均基于散度和得分函数的近似。
• 利用蒙特卡洛采样无偏估计 GSURE 中的散度项，实现 O(nm) 时间内高效计算风险估计。
• 采用一阶近似方法计算 PURE 和 PUKLA 的风险估计器，通过 SVD 基公式 [LS01, SS03, Ede05] 计算收缩函数的方向导数。
• 利用数据矩阵的 SVD 表达收缩函数的方向导数，以奇异值和奇异向量表示，从而实现风险估计器的快速评估。
• 在合成数据上对方法进行数值验证，并与高斯和泊松模型下已知的最优规则进行性能比较。

实验结果

研究问题

• RQ1 当噪声服从指数族分布时，能否为低秩矩阵去噪中的谱估计器推导出广义 SURE？
• RQ2 在脊型总体模型下，所提出的无偏数据驱动收缩规则与高斯情况下的渐近最优规则相比表现如何？
• RQ3 基于 GSURE 的估计器在伽马分布和泊松分布观测下的计算与统计特性如何？
• RQ4 能否在有限维设置下开发出高效、线性时间的 GSURE 及其近似计算算法？
• RQ5 在非高斯噪声模型的风险估计框架中，自由度起什么作用？

主要发现

• 本文推导出广义 SURE 公式，可在任意指数族分布（包括高斯、伽马和泊松分布）下实现谱估计器的无偏风险估计。
• 在高斯情况下，所提出的 GSURE 退化为经典 SURE，且在脊型总体模型下其估计器具有渐近最优性。
• 该方法为伽马和泊松分布数据提供了新的数据驱动收缩规则，经数值实验验证，去噪性能显著提升。
• 所提出的风险估计器可通过蒙特卡洛方法和一阶近似在 O(nm) 时间内计算，适用于大规模矩阵的可扩展性。
• 在渐近情形下，所提估计器的性能与已知的高斯噪声下渐近最优规则相当，证实了理论一致性。
• 该框架可在不依赖真实信号秩或噪声方差知识的前提下推导出最优收缩规则，显著增强了实际适用性。