[论文解读] MEDRoP: Memory-Efficient Dynamic Robust PCA.

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|Dec 17, 2017

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

MEDRoP 是一种内存高效的在线算法，用于动态鲁棒主成分分析（RPCA），可在存在稀疏异常值的情况下追踪缓慢变化的低秩子空间。它在弱化假设下首次为动态RPCA提供了可证明的保证，实现了接近最优的子空间追踪延迟，并在内存复杂度上保持在最优值的对数因子范围内。

ABSTRACT

Robust PCA (RPCA) is the problem of separating a given data matrix into the sum of a sparse matrix and a low-rank matrix. The column span of the low-rank matrix gives the PCA solution. Dynamic RPCA is the time-varying extension of RPCA. It assumes that the true data vectors lie in a low-dimensional subspace that can change with time, albeit slowly. The goal is to track this changing subspace over time in the presence of sparse outliers. We propose an algorithm that we call Memory-Efficient Dynamic Robust PCA (MEDRoP). This relies on the recently studied recursive projected compressive sensing (ReProCS) framework for solving dynamic RPCA problems, however, the actual algorithm is significantly different from, and simpler than, previous ReProCS-based methods. The main contribution of this work is a theoretical guarantee that MEDRoP provably solves dynamic RPCA under weakened versions of standard RPCA assumptions, a mild assumption on slow subspace change, and two simple assumptions (a lower bound on most outlier magnitudes and mutual independence of the true data vectors). Our result is important because (i) it removes the strong assumptions needed by the three previous complete guarantees for ReProCS-based algorithms; (ii) it shows that, it is possible to achieve significantly improved outlier tolerance compared to static RPCA solutions by exploiting slow subspace change and a lower bound on most outlier magnitudes; (iii) it is able to track a changed subspace within a delay that is more than the subspace dimension by only logarithmic factors and thus is near-optimal; and (iv) it studies an algorithm that is online (after initialization), fast, and, memory-efficient (its memory complexity is within logarithmic factors of the optimal).

研究动机与目标

• 解决在高维数据受稀疏异常值污染的情况下追踪时变低秩子空间的挑战。
• 降低先前基于ReProCS的方法在动态RPCA中所需的强假设。
• 通过利用子空间变化缓慢的特性以及对异常值幅度的下界，提升对异常值的容忍度。
• 设计一种在线、快速且内存高效的算法，存储开销最小化。

提出的方法

• MEDRoP 借助递归投影压缩感知（ReProCS）框架，但引入了简化的算法结构以降低复杂度。
• 通过递归投影和正交化维护子空间的低秩估计，并随新数据增量更新。
• 通过施加对大多数异常值幅度的下界，以将其与噪声和小扰动区分开来。
• 假设真实数据向量之间相互独立，以确保随时间的子空间估计稳定。
• 算法引入延迟子空间更新机制，在追踪缓慢子空间变化的同时增强对异常值的鲁棒性。
• 通过仅维护子空间的压缩表示实现内存效率，其复杂度在理论最小值的对数因子范围内。

实验结果

研究问题

• RQ1 动态RPCA是否能在显著弱于先前基于ReProCS方法所需假设的条件下求解？
• RQ2 与静态RPCA相比，子空间变化缓慢的特性以及对异常值幅度的下界，能在多大程度上提升对异常值的容忍度？
• RQ3 追踪子空间变化所需的最小延迟是多少？是否能在最优值的对数因子范围内实现？
• RQ4 是否可能设计一种在线、内存高效的动态RPCA算法，同时保持理论保证？

主要发现

• MEDRoP 在弱化标准RPCA假设（包括对子空间变化和异常值结构的约束）下，首次为动态RPCA提供了可证明的保证。
• 通过利用子空间变化缓慢的特性以及对大多数异常值幅度的下界，该算法显著提升了对异常值的容忍度。
• 追踪子空间变化的延迟在子空间维度的对数因子范围内，接近最优。
• MEDRoP 的内存复杂度保持在理论最小值的对数因子范围内，使高维数据的可扩展性成为可能。
• 该方法在初始化后为在线处理，计算高效，适用于流数据的实时应用。
• 理论分析证实，真实数据向量之间的相互独立性以及对异常值幅度的下界，足以实现稳定且准确的子空间追踪。