[论文解读] Clustering by Low-Rank Doubly Stochastic Matrix Decomposition

Zhirong Yang, Erkki Oja|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 16被引用 19

一句话总结

该论文提出了一种基于低秩双重随机矩阵分解的新型聚类方法，通过虚拟聚类节点建模为两步双射随机游走过程。通过最小化观测到的分配概率与近似概率之间的Kullback-Leibler散度，该方法在大规模流形数据上实现了优异的聚类纯度，采用松弛的Majorization-Minimization算法实现高效优化。

ABSTRACT

Clustering analysis by nonnegative low-rank approximations has achieved remarkable progress in the past decade. However, most approximation approaches in this direction are still restricted to matrix factorization. We propose a new low-rank learning method to improve the clustering performance, which is beyond matrix factorization. The approximation is based on a two-step bipartite random walk through virtual cluster nodes, where the approximation is formed by only cluster assigning probabilities. Minimizing the approximation error measured by Kullback-Leibler divergence is equivalent to maximizing the likelihood of a discriminative model, which endows our method with a solid probabilistic interpretation. The optimization is implemented by a relaxed Majorization-Minimization algorithm that is advantageous in finding good local minima. Furthermore, we point out that the regularized algorithm with Dirichlet prior only serves as initialization. Experimental results show that the new method has strong performance in clustering purity for various datasets, especially for large-scale manifold data.

研究动机与目标

• 通过引入非分解基的低秩逼近框架，解决传统矩阵分解在聚类中的局限性。
• 提升在大规模且结构复杂的流形数据集上的聚类性能，这些数据集上标准方法可能表现不佳。
• 基于通过最小化Kullback-Leibler散度实现的似然最大化，构建具有坚实概率基础的方法。
• 通过松弛的Majorization-Minimization优化策略实现鲁棒聚类，以找到高质量的局部极小值。
• 采用基于狄利克雷先验的合理初始化方法，该初始化在后续优化过程中被舍弃。

提出的方法

• 将聚类建模为数据点与虚拟聚类节点之间的两步双射随机游走，以生成低秩逼近。
• 构建一个双重随机矩阵，其行和列的和均被约束为1，以确保概率质量守恒。
• 使用Kullback-Leibler散度作为目标函数，衡量观测相似度矩阵与低秩逼近之间的近似误差。
• 将KL散度最小化问题形式化为判别式概率模型中的似然最大化问题，提供理论基础。
• 通过松弛的Majorization-Minimization（MM）算法实现优化，以高效收敛至高质量的局部极小值。
• 将带有狄利克雷先验的正则化算法仅作为初始化步骤，不参与最终推理过程。

实验结果

研究问题

• RQ1 低秩双重随机矩阵分解方法是否能在聚类任务中优于标准矩阵分解方法？
• RQ2 将聚类建模为通过虚拟聚类节点的两步随机游走，是否能带来更优的数据聚类表示与分离效果？
• RQ3 通过最小化KL散度实现的概率解释在多大程度上提升了聚类的鲁棒性与可解释性？
• RQ4 松弛的Majorization-Minimization算法在大规模数据集上实现高质量聚类解的效率如何？
• RQ5 所提出的方法是否在传统方法可能失效的流形结构数据上保持优异性能？

主要发现

• 与基线方法相比，该方法在大规模流形数据集上实现了更优的聚类纯度。
• 使用Kullback-Leibler散度作为目标函数，可通过似然最大化实现有原则的概率解释。
• 松弛的Majorization-Minimization算法能有效找到高质量的局部极小值，提升收敛性与稳定性。
• 狄利克雷先验仅用于初始化，不影响最终聚类结果，表明主优化过程具有鲁棒性。
• 实证结果表明该方法在多样化数据集上具有强大的泛化能力，尤其在复杂高维流形上显著提升了聚类准确率。