[论文解读] Unmixing Incoherent Structures of Big Data by Randomized or Greedy Decomposition

Tianyi Zhou, Dacheng Tao|arXiv (Cornell University)|Sep 2, 2013

Sparse and Compressive Sensing Techniques参考文献 60被引用 7

一句话总结

该论文提出GoDec，一种基于随机化与贪心算法的可扩展低秩与稀疏矩阵分解方法，用于在大规模数据中解混非相干结构。通过引入双边随机投影（BRP）与贪心双边（GreB）范式，GoDec实现了数据矩阵在低秩与稀疏分量上的快速、鲁棒且精确的分解，并进一步扩展至多标签学习、运动分割与推荐系统等场景。

ABSTRACT

Learning big data by matrix decomposition always suffers from expensive computation, mixing of complicated structures and noise. In this paper, we study more adaptive models and efficient algorithms that decompose a data matrix as the sum of semantic components with incoherent structures. We firstly introduce "GO decomposition (GoDec)", an alternating projection method estimating the low-rank part $L$ and the sparse part $S$ from data matrix $X=L+S+G$ corrupted by noise $G$. Two acceleration strategies are proposed to obtain scalable unmixing algorithm on big data: 1) Bilateral random projection (BRP) is developed to speed up the update of $L$ in GoDec by a closed-form built from left and right random projections of $X-S$ in lower dimensions; 2) Greedy bilateral (GreB) paradigm updates the left and right factors of $L$ in a mutually adaptive and greedy incremental manner, and achieve significant improvement in both time and sample complexities. Then we proposes three nontrivial variants of GoDec that generalizes GoDec to more general data type and whose fast algorithms can be derived from the two strategies......

研究动机与目标

• 解决传统矩阵分解方法在大规模数据上计算效率低下的问题，尤其是那些需要完整SVD或迭代优化的方法。
• 克服现有方法难以分离复杂、非相干数据结构（如低秩与稀疏分量）的挑战。
• 开发可扩展的算法，在降低时间和样本复杂度的同时保持准确性和鲁棒性，适用于大规模数据。
• 通过引入结构先验，将GoDec扩展至更复杂的数据类型，如运动分割、多标签学习与推荐系统。
• 通过利用项目特征，实现推荐系统中用户评分函数的高效学习，超越标准矩阵补全方法。

提出的方法

• 提出GoDec，一种交替投影算法，将数据矩阵 $X = L + S + G$ 分解为低秩 $L$、稀疏 $S$ 与噪声 $G$。
• 应用双边随机投影（BRP）通过计算 $X - S$ 的左右随机投影，实现闭式近似，加速低秩更新。
• 提出贪心双边（GreB）范式，以增量且自适应方式更新 $L$ 的左右因子，降低时间和样本复杂度。
• 将GoDec推广至三种新场景：通过几何变换下的行稀疏矩阵分解实现运动分割，通过组lasso的子空间集成实现多标签学习，通过 $WZ^T$ 分解结合项目特征实现推荐系统。
• 在LinGoDec中利用辅助信息（如项目特征）提升恢复精度，并实现用户特定评分函数的学习。
• 使用相图与实证评估验证所提方法在合成与真实世界数据集上的鲁棒性与可扩展性。

实验结果

研究问题

• RQ1 随机化与贪心算法是否能显著降低大规模数据上低秩与稀疏矩阵分解的计算成本，同时保持准确性？
• RQ2 与完整SVD相比，双边随机投影（BRP）在GoDec中如何提升低秩更新的可扩展性？
• RQ3 贪心双边（GreB）范式在多大程度上改善了矩阵分解的时间与样本复杂度？
• RQ4 GoDec能否有效扩展至具有结构先验的复杂数据类型，如运动分割、多标签学习与推荐系统？
• RQ5 在LinGoDec中引入辅助信息（如项目特征）是否能提升恢复性能，并实现超越标准矩阵补全的新建模能力？

主要发现

• GoDec结合BRP与GreB在运行时间上显著优于传统基于SVD的方法，在保持高精度的同时降低时间复杂度，实现高效的低秩与稀疏分解。
• 图5的相图显示，LinGoDec在稀疏度-秩平面上成功恢复低秩分量的区域大于鲁棒PCA与GreBsmo，表明其具有更强的鲁棒性。
• 在真实世界多标签数据集上，MSE（GoDec的变体）在F1分数与准确率上优于BR、ML-kNN与MDDM，且精确率与召回率差距更小，表明对类别不平衡具有更强鲁棒性。
• 在推荐系统场景中，LinGoDec通过 $WZ^T$ 分解成功学习用户特定评分函数，实现了对用户偏好的建模，超越标准矩阵补全方法。
• 合成数据上的实证结果表明，由于闭式更新与BRP加速，LinGoDec在高维数据下仍保持较低时间成本。
• 该方法在背景建模、运动分割与多标签分类等多种任务中表现出色，证实其泛化能力与可扩展性。