[论文解读] Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection

HanQin Cai, Jialin Liu+1 more|arXiv (Cornell University)|Oct 11, 2021

Sparse and Compressive Sensing Techniques参考文献 48被引用 20

一句话总结

该论文提出了一种可扩展的深度展开方法——学习型鲁棒PCA（LRPCA），用于高维异常值检测。LRPCA用可学习的前馈-循环-混合神经网络替代了迭代的奇异值阈值化（SVT），实现了无限次迭代展开和端到端参数学习。在合成数据和真实世界视频背景减除任务中，LRPCA在性能上优于ScaLedGD和AltProj等最先进方法，且在温和假设下具备强大的泛化能力和恢复保证。

ABSTRACT

Robust principal component analysis (RPCA) is a critical tool in modern machine learning, which detects outliers in the task of low-rank matrix reconstruction. In this paper, we propose a scalable and learnable non-convex approach for high-dimensional RPCA problems, which we call Learned Robust PCA (LRPCA). LRPCA is highly efficient, and its free parameters can be effectively learned to optimize via deep unfolding. Moreover, we extend deep unfolding from finite iterations to infinite iterations via a novel feedforward-recurrent-mixed neural network model. We establish the recovery guarantee of LRPCA under mild assumptions for RPCA. Numerical experiments show that LRPCA outperforms the state-of-the-art RPCA algorithms, such as ScaledGD and AltProj, on both synthetic datasets and real-world applications.

研究动机与目标

• 解决现有RPCA方法依赖每一步昂贵的奇异值阈值化（SVT）带来的高计算成本问题。
• 克服有限次迭代深度展开的局限性，该方法需重新训练以获得更高精度。
• 开发一种可扩展、可学习且理论基础坚实的高维RPCA问题求解方法。
• 实现在不重新训练的情况下，跨不同矩阵尺寸和秩的良好泛化能力。
• 在温和假设下，为所提方法建立恢复保证。

提出的方法

• 提出一种前馈-循环-混合神经网络（FRMNN），用于建模无限次迭代展开，实现无需重新训练即可达到任意精度。
• 用可学习的自适应阈值和步长参数替代经典RPCA中的奇异值阈值化（SVT）步骤。
• 采用深度展开参数化非凸RPCA算法，支持基于反向传播的端到端自由参数学习。
• 引入逐层训练策略，使用随机梯度下降（SGD）进行优化，利用具有已知真实值的合成数据进行监督。
• 在测试阶段对阈值参数进行缩放，以基于理论边界实现跨不同矩阵尺寸和秩的泛化。
• 采用混合训练方案：使用SGD进行逐层训练，并通过网格搜索确定超参数，同时在保留的合成实例上进行验证。

实验结果

研究问题

• RQ1 深度展开方法能否在高维设置下避免奇异值阈值化（SVT）带来的计算瓶颈？
• RQ2 能否设计一种可学习的、无限次迭代展开框架，实现无需重新训练即可达到任意精度？
• RQ3 当在单一基础设置下训练时，该方法是否能在不同矩阵维度和秩上实现良好泛化？
• RQ4 所学习的参数能否在温和假设下获得理论上的恢复保证？
• RQ5 与ScaLedGD和AltProj等最先进RPCA算法相比，该方法的性能如何？

主要发现

• LRPCA在合成数据集和真实世界视频背景减除任务中均优于ScaLedGD和AltProj，以更少的迭代次数实现更高精度。
• 模型泛化能力出色：当在基础设置（n=1000, r=5）下训练时，可在n=3000, r=5的场景下以7次迭代达到10−4精度，而若在目标设置下训练则仅需6次迭代。
• 训练得到的步长在早期迭代中较大，随后逐渐衰减，与理论预期一致，支持初始阶段的快速收敛。
• 阈值参数呈指数衰减，与引理10中的理论边界一致，表明异常值抑制稳定且自适应。
• 由于GPU并行计算，训练时间随问题规模呈次线性增长，n=5000, r=5, α=0.1时耗时2405秒。
• 在温和假设下（如有界相干性和稀疏性），该方法可实现精确恢复，并建立了理论恢复保证。