[论文解读] denoiseR: A Package for Low Rank Matrix Estimation

Julie Josse, Sylvain Sardy+1 more|arXiv (Cornell University)|Feb 3, 2016

Blind Source Separation Techniques参考文献 4被引用 11

一句话总结

该论文介绍了 denoiseR，一个用于正则化低秩矩阵估计的 R 包，实现了先进的奇异值收缩方法（如软阈值法、自适应迹范数和基于自举法的正则化），并利用 SURE 和 GSURE 实现正则化参数的自动选择。该包通过矩阵补全技术将这些方法扩展至处理缺失数据，为计数数据和连续矩阵等多种数据类型提供了改进的去噪和填补效果。

ABSTRACT

We introduce denoiseR, an R package that provides a unified implementation of several state-of-the-art proposals for regularized low rank matrix estimation, along with automatic selection of the regularization parameters. We also extend these methods to allow for missing values. The regularization schemes discussed in this paper are built around singular-value shrinkage and bootstrap-based stability arguments. We illustrate how to use out package by applying it to several real and simulated datasets, and highlight strengths and weaknesses of the different implemented methods.

研究动机与目标

• 提供最先进的正则化低秩矩阵估计技术的统一、用户友好的 R 实现。
• 通过 Stein 无偏风险估计（SURE）和广义 SURE（GSURE）实现正则化参数的自动选择。
• 通过矩阵补全技术将低秩估计方法扩展至处理含缺失值的不完整数据。
• 通过适当的噪声模型和收缩策略，支持包括计数数据和连续矩阵在内的多种数据类型。
• 通过稳健的去噪提升聚类、对应分析和数据填补等下游任务的效果。

提出的方法

• 通过软阈值法实现奇异值收缩，其中低于阈值 λ 的奇异值被置为零，其余奇异值则减去 λ。
• 使用两个参数（λ, γ）的自适应迹范数（ATN）正则化，实现奇异值的非均匀收缩。
• 对计数数据和指数族噪声模型采用基于自举法的正则化，以提高稳定性和准确性。
• 在完整和不完整数据设置下，利用 Stein 无偏风险估计（SURE）和广义 SURE（GSURE）实现正则化参数的自动选择。
• 通过将 SURE 适配至不完整矩阵并引入一种新的计数数据填补方法，将矩阵补全扩展至缺失数据场景。
• 通过 `adashrink` 函数提供统一接口，支持多种方法（SURE、GSURE、QUT）和自动参数调优。

实验结果

研究问题

• RQ1 正则化如何在经典截断 SVD 之外进一步改进低秩矩阵估计？
• RQ2 SURE 和 GSURE 在选择低秩矩阵估计最优正则化参数方面的表现如何？
• RQ3 基于自举法的正则化能否有效稳定计数数据及其他非高斯噪声模型的低秩估计？
• RQ4 在不同信噪比下，不同收缩方法在均方误差（MSE）上的表现如何比较？
• RQ5 正则化低秩估计在多大程度上能提升聚类和含缺失数据的矩阵补全等下游任务的效果？

主要发现

• 基于 SURE 的软阈值估计器在低信噪比（SNR）数据中实现了较低的均方误差（MSE）。
• 在高信噪比环境下，自适应迹范数（ATN）估计器的表现优于标准 SVD 和软阈值法。
• SURE 和 GSURE 实现了正则化参数的自动选择，无需交叉验证或对噪声方差的先验知识。
• 该包成功将正则化扩展至不完整数据，实现了比基线方法更准确的矩阵补全。
• 在肿瘤基因表达数据的聚类任务中，ATN 去噪产生的聚类比截断 SVD 更具一致性，如层次聚类可视化所示。
• 针对计数数据的新填补方法在矩阵补全任务中优于现有方法，尤其在期刊影响因子数据集上表现更优。