[论文解读] Denise: Deep Robust Principal Component Analysis for Positive Semidefinite Matrices

Calypso Herrera, Florian Krach+3 more|arXiv (Cornell University)|Apr 28, 2020

Sparse and Compressive Sensing Techniques被引用 2

一句话总结

Denise 提出了一种基于深度学习的算法，用于对对称正半定矩阵进行鲁棒主成分分析（RPCA），通过学习一个函数，能够近乎瞬时地将任意新矩阵分解为低秩和稀疏分量。该方法在分解质量上达到当前最先进水平，同时比主成分追踪（PCP）快约2000倍，比快速 PCP 快约200倍，并且在表达能力和收敛性方面具有理论保证。

ABSTRACT

The robust PCA of covariance matrices plays an essential role when isolating key explanatory features. The currently available methods for performing such a low-rank plus sparse decomposition are matrix specific, meaning, those algorithms must re-run for every new matrix. Since these algorithms are computationally expensive, it is preferable to learn and store a function that nearly instantaneously performs this decomposition when evaluated. Therefore, we introduce Denise, a deep learning-based algorithm for robust PCA of covariance matrices, or more generally, of symmetric positive semidefinite matrices, which learns precisely such a function. Theoretical guarantees for Denise are provided. These include a novel universal approximation theorem adapted to our geometric deep learning problem and convergence to an optimal solution to the learning problem. Our experiments show that Denise matches state-of-the-art performance in terms of decomposition quality, while being approximately $2000 imes$ faster than the state-of-the-art, principal component pursuit (PCP), and $200 imes$ faster than the current speed-optimized method, fast PCP.

研究动机与目标

• 开发一种近乎瞬时的对称正半定矩阵进行低秩加稀疏分解的方法。
• 学习一个可泛化的深度神经网络函数，可在训练后分解任意新矩阵，避免重复进行昂贵的优化计算。
• 通过网络输出的连续性，确保对输入扰动的小幅变化具有鲁棒性。
• 为该架构的通用近似能力以及收敛至最优解提供理论保证。

提出的方法

• Denise 使用一种专为对称正半定矩阵设计的几何深度学习架构的深度神经网络。
• 网络端到端训练，以最小化稀疏分量的 ℓ1-范数，同时将输入矩阵重建为低秩与稀疏矩阵之和。
• 该架构引入特征映射 h 和读出映射 g，以确保在小输入扰动下保持不变性和稳定性。
• 采用监督学习设置，使用合成或真实数据对网络进行矩阵分解训练。
• 网络设计为对输入矩阵连续，确保输入微小变化时输出变化也较小。
• 理论分析包括针对几何深度学习问题的新型通用近似定理，以及在独立同分布采样假设下收敛至最优解的保证。

实验结果

研究问题

• RQ1 能否训练一个深度神经网络，使其在未见过的正半定矩阵上泛化，实现鲁棒 PCA？
• RQ2 与经典求解器相比，所提出的架构是否在分解精度和近乎瞬时的推理速度方面均表现优异？
• RQ3 能否为基于深度学习的 RPCA 方法的表达能力和收敛性建立理论保证？
• RQ4 网络对输入矩阵的小幅扰动有多鲁棒？该架构是否确保输出的连续性？
• RQ5 该方法能否扩展以处理超出正半定矩阵的一般矩阵？

主要发现

• Denise 在低秩和稀疏分量精度方面实现了当前最先进水平的分解质量。
• 在基准任务上，该方法比主成分追踪（PCP）快约2000倍，比快速 PCP 快约200倍。
• 理论分析证实了该网络对正半定矩阵上几何 RPCA 问题的通用近似能力。
• 网络输出对输入矩阵连续，确保在小扰动下具有稳定性。
• 在独立同分布采样假设下，已证明其收敛至最优解，且随着网络深度增加，损失函数收敛至最小值。
• 训练后该方法可泛化至未见过的矩阵，推理仅需一次前向传播，适用于在线和实时应用场景。