[论文解读] Denise: Deep Learning based Robust PCA for Positive Semidefinite Matrices.

Calypso Herrera, Florian Krach+1 more|arXiv (Cornell University)|Apr 28, 2020

Sparse and Compressive Sensing Techniques参考文献 26被引用 7

一句话总结

Denise 提出了一种基于深度学习的鲁棒主成分分析方法，适用于对称正定半定矩阵，能够学习一个通用函数以实现低秩加稀疏分解。与针对特定矩阵的算法不同，Denise 在单次训练阶段后，实现了数量级更快的推理速度，且分解质量达到当前最先进水平。

ABSTRACT

The robust PCA of high-dimensional matrices plays an essential role when isolating key explanatory features. The currently available methods for performing such a low-rank plus sparse decomposition are matrix specific, meaning, the algorithm must re-run each time a new matrix should be decomposed. Since these algorithms are computationally expensive, it is preferable to learn and store a function that instantaneously performs this decomposition when evaluated. Therefore, we introduce Denise, a deep learning-based algorithm for robust PCA of symmetric positive semidefinite matrices, which learns precisely such a function. Theoretical guarantees that Denise's architecture can approximate the decomposition function, to arbitrary precision and with arbitrarily high probability, are obtained. The training scheme is also shown to convergence to a stationary point of the robust PCA's loss-function. We train Denise on a randomly generated dataset, and evaluate the performance of the DNN on synthetic and real-world covariance matrices. Denise achieves comparable results to several state-of-the-art algorithms in terms of decomposition quality, but as only one evaluation of the learned DNN is needed, Denise outperforms all existing algorithms in terms of computation time.

研究动机与目标

• 解决现有针对特定矩阵的鲁棒主成分分析算法计算效率低下的问题，这些算法需为每张新矩阵重新运行。
• 开发一个通用的深度神经网络（DNN）函数，可即时将任意对称正定半定矩阵分解为低秩与稀疏分量。
• 提供理论保证，证明 Denise 的架构能够以高概率逼近真实分解函数至任意精度。
• 确保训练过程收敛至鲁棒主成分分析损失函数的驻点。
• 在合成及真实世界协方差矩阵上，展示优于现有方法的推理速度，同时保持具有竞争力的分解精度。

提出的方法

• 设计一种专为对称正定半定矩阵定制的深度神经网络架构，以学习低秩加稀疏分解函数。
• 在大规模随机生成的正定半定矩阵数据集上训练 DNN，其中已知低秩与稀疏分量。
• 使用与标准鲁棒主成分分析目标一致的损失函数，引导训练过程实现精确分解。
• 证明训练方案可收敛至鲁棒主成分分析损失函数的驻点。
• 建立理论近似保证，表明 Denise 可以以高概率逼近真实分解函数至任意精度。
• 在合成及真实世界协方差矩阵上评估推理性能，以验证其速度与精度。

实验结果

研究问题

• RQ1 深度神经网络能否学习一个通用函数，对对称正定半定矩阵执行鲁棒主成分分析，从而避免为每张矩阵重新计算？
• RQ2 所提出的 DNN 架构是否能提供理论保证，以任意精度和高概率逼近真实分解函数？
• RQ3 Denise 的训练过程是否收敛至鲁棒主成分分析损失函数的驻点？
• RQ4 Denise 在合成及真实世界协方差矩阵上的分解质量，与当前最先进、针对特定矩阵的鲁棒主成分分析算法相比如何？
• RQ5 Denise 在保持具有竞争力精度的前提下，其推理速度相较于现有方法提升了多少？

主要发现

• Denise 在合成及真实世界协方差矩阵上的分解质量，与当前最先进、针对特定矩阵的鲁棒主成分分析算法相当。
• 基于 DNN 的方法在训练完成后可实现即时推理，与迭代式、针对特定矩阵的算法相比，计算速度显著提升。
• 理论分析证实，Denise 的架构能够以任意高的概率逼近真实分解函数至任意精度。
• 训练过程被证明可收敛至鲁棒主成分分析损失函数的驻点。
• Denise 展现出卓越的推理速度，由于训练后仅需单次评估，其计算时间全面优于所有现有算法。
• 该方法在无需为每个新输入重新训练的情况下，对各类正定半定矩阵表现出良好的泛化能力。