[论文解读] A Subspace Learning Approach to High-Dimensional Matrix Decomposition with Efficient Information Sampling

Mostafa Rahmani, George Atia|arXiv (Cornell University)|Feb 1, 2015

Sparse and Compressive Sensing Techniques参考文献 74被引用 9

一句话总结

该论文提出了一种可扩展的子空间追踪方法，用于低秩加稀疏矩阵分解，通过将问题转化为使用小规模、高效采样的数据草图进行子空间学习任务。该方法仅采样 O(rμ) 列/行，显著降低了计算成本，并通过非均匀采样提升了结构化数据的效率，同时支持在线实现。

ABSTRACT

This paper is concerned with the problem of low-rank plus sparse matrix decomposition for big data. Conventional algorithms for matrix decomposition use the entire data to extract the low-rank and sparse components, and are based on optimization problems that scale with the dimension of the data, which limit their scalability. Furthermore, the existing randomized approaches mostly rely on uniform random sampling, which can be quite inefficient for many real world data matrices that exhibit additional structures (e.g. clustering). In this paper, a scalable subspace-pursuit approach that transforms the decomposition problem to a subspace learning problem is proposed. The decomposition is carried out using a small data sketch formed from sampled columns/rows. Even when the data is sampled uniformly at random, it is shown that the sufficient number of sampled columns/rows is roughly O(r \mu), where \mu is the coherency parameter and r the rank of the low-rank component. In addition, efficient sampling algorithms are proposed to address the problem of column/row sampling from structured data. The proposed sampling algorithms can be independently used for feature selection from high-dimensional data. The proposed approach is amenable to online implementation and an online scheme is proposed.

研究动机与目标

• 解决传统低秩加稀疏矩阵分解算法在处理完整数据矩阵时的可扩展性限制。
• 克服现有随机化方法中均匀随机采样效率低下的问题，尤其针对具有聚类等固有结构的数据。
• 将矩阵分解转化为子空间学习问题，以实现使用小规模数据草图的高效计算。
• 为结构化数据设计高效的采样算法，该算法可重复用于高维特征选择。
• 实现分解过程的在线处理，以适用于流式或动态变化的数据。

提出的方法

• 将低秩加稀疏矩阵分解重新表述为子空间学习问题，以减少对完整数据处理的依赖。
• 通过采样列或行构建小规模数据草图，显著降低优化问题的维度。
• 理论分析表明，O(rμ) 个采样列/行足以实现准确的分解，其中 r 为低秩分量，μ 为相干性参数。
• 提出针对数据结构（如聚类）的非均匀采样策略，以在效率上超越均匀采样。
• 设计算法的在线变体，可随新数据到达而逐步更新分解结果。
• 将采样与分解流程集成，使采样算法可独立用于高维数据的特征选择。

实验结果

研究问题

• RQ1 矩阵分解能否被有效重构为子空间学习问题以提升可扩展性？
• RQ2 在均匀采样下，准确实现低秩加稀疏分解所需的最少列/行采样数量是多少？
• RQ3 如何使采样在具有聚类或其他模式的结构化数据矩阵中更加高效？
• RQ4 所提方法能否适应在线或增量式数据处理？
• RQ5 与均匀采样相比，非均匀采样策略在真实世界结构化数据中的性能提升程度如何？

主要发现

• 所提方法仅使用 O(rμ) 个采样列或行即可实现准确的低秩加稀疏矩阵分解，显著降低计算负载。
• 即使采用均匀采样，当样本规模达到 O(rμ) 时，该方法仍能保持对恢复准确性的理论保证。
• 对于具有聚类模式的结构化数据，非均匀采样策略在效率上优于均匀采样。
• 所开发的采样算法在高维特征选择中表现有效，且可独立于分解流程使用。
• 算法的在线变体支持对分解结果的增量更新，适用于流式数据应用场景。
• 整体方法在高维数据上表现出高效的可扩展性，展示了在大数据应用中的实际可行性。