[论文解读] Optimal denoising of rotationally invariant rectangular matrices

Emanuele Troiani, Vittorio Erba+3 more|arXiv (Cornell University)|Mar 15, 2022

Blind Source Separation Techniques被引用 5

一句话总结

本文通过Dyson布朗运动的动态方法和矩形Harish-Chandra-Itzykson-Zuber（HCIZ）积分的渐近分析，推导出在加性高斯噪声和旋转不变先验下，大型长方形矩阵的最优去噪器。关键贡献在于在高维极限下，给出了最优去噪器及其均方误差性能的显式公式，特别关注了建模矩阵分解和交叉协方差矩阵的因子化先验。

ABSTRACT

In this manuscript we consider denoising of large rectangular matrices: given a noisy observation of a signal matrix, what is the best way of recovering the signal matrix itself? For Gaussian noise and rotationally-invariant signal priors, we completely characterize the optimal denoiser and its performance in the high-dimensional limit, in which the size of the signal matrix goes to infinity with fixed aspects ratio, and under the Bayes optimal setting, that is when the statistician knows how the signal and the observations were generated. Our results generalise previous works that considered only symmetric matrices to the more general case of non-symmetric and rectangular ones. We explore analytically and numerically a particular choice of factorized signal prior that models cross-covariance matrices and the matrix factorization problem. As a byproduct of our analysis, we provide an explicit asymptotic evaluation of the rectangular Harish-Chandra-Itzykson-Zuber integral in a special case.

研究动机与目标

• 在贝叶斯最优条件下，表征高维极限下大型长方形矩阵的最优去噪器。
• 将先前关于对称矩阵的结果扩展到更一般的非对称、长方形矩阵情形，且具有旋转不变先验。
• 在与去噪相关的特殊情形下，提供矩形Harish-Chandra-Itzykson-Zuber积分的显式渐近评估。
• 分析在因子化信号先验背景下最优去噪的性能，该先验用于建模矩阵分解和交叉协方差估计。
• 为秩与矩阵维数成比例的广义秩情形（extensive-rank regime）建立去噪的理论基础。

提出的方法

• 基于Dyson布朗运动的动态方法，将信号矩阵与其噪声观测值之间进行插值。
• 应用矩形HCIZ积分的渐近分析，推导出在高维极限下的最优去噪器。
• 采用时间重标度技术，处理噪声方差未匹配标准归一化的情形。
• 通过在旋转不变性约束下对谱测度求解变分问题，推导出最优去噪器。
• 引入一种变换，将噪声参数均匀分配至信号矩阵和噪声矩阵，以保持扰动的高斯性质。
• 利用某一泛函G(t)的时间导数为零的事实，将初始值与终值等同，从而实现HCIZ积分的显式计算。

实验结果

研究问题

• RQ1 当信号先验为旋转不变且噪声为加性高斯时，大型长方形矩阵的最优去噪器是什么？
• RQ2 对于具有固定纵横比的长方形矩阵，在高维极限下，最优去噪器的性能如何扩展？
• RQ3 在特定矩阵类中，矩形Harish-Chandra-Itzykson-Zuber积分是否可在渐近极限下显式求值？
• RQ4 在秩随矩阵维数增长的广义秩情形下，最优去噪性能如何？
• RQ5 对于因子化先验（如建模交叉协方差矩阵的先验），最优去噪器的解析结构是什么？

主要发现

• 最优去噪器完全由信号矩阵和观测矩阵的谱测度表征，显式依赖于噪声水平和矩阵纵横比。
• 在扰动为高斯分布的情形下，推导出矩形HCIZ积分的显式渐近公式，从而可精确计算最优去噪性能。
• 最优去噪器的均方误差表示为信号矩阵和噪声矩阵谱测度的泛函，包含方差和熵类项。
• 对于具有i.i.d.高斯因子的因子化先验，在广义秩情形下，最优去噪器性能优于标准收缩方法。
• 推导结果表明，由于旋转不变性，最优去噪性能仅依赖于信号矩阵和观测矩阵的奇异值分布。
• 该结果在贝叶斯最优设定下成立，即真实先验和噪声模型已知，为实际矩阵去噪与分解算法提供了理论基准。