[论文解读] A Review of Nonnegative Matrix Factorization Methods for Clustering

Ali Caner Türkmen|arXiv (Cornell University)|Jul 12, 2015

Face and Expression Recognition被引用 13

一句话总结

本文综述了用于聚类的非负矩阵分解（NMF）方法，建立了NMF与k-means聚类之间的理论联系。文章介绍了Sparce NMF、Projective NMF、非负谱聚类和Cluster-NMF等变体，展示了其矩阵分解框架如何实现可解释的、基于部分的聚类，提升聚类分离度与稀疏性。

ABSTRACT

Nonnegative Matrix Factorization (NMF) was first introduced as a low-rank matrix approximation technique, and has enjoyed a wide area of applications. Although NMF does not seem related to the clustering problem at first, it was shown that they are closely linked. In this report, we provide a gentle introduction to clustering and NMF before reviewing the theoretical relationship between them. We then explore several NMF variants, namely Sparse NMF, Projective NMF, Nonnegative Spectral Clustering and Cluster-NMF, along with their clustering interpretations.

研究动机与目标

• 建立非负矩阵分解（NMF）与聚类，特别是k-means之间的理论联系。
• 介绍并分析专为聚类应用设计的关键NMF变体。
• 提供基于NMF的聚类技术的全面概述，包含直观的解释与数学基础。
• 强调稀疏性与正交性在提升聚类可解释性与性能方面的作用。
• 将NMF定位为无监督学习中传统聚类算法的稳健且可解释的替代方案。

提出的方法

• 将聚类建模为使用NMF的矩阵分解问题，其中数据矩阵 X ≈ WH，且 W, H ≥ 0。
• 证明标准k-means目标函数在非负性约束下与NMF优化问题在数学上等价。
• 通过在因子矩阵W中添加ℓ1正则化项，引入Sparce NMF，以促进行级稀疏性，从而实现更清晰的聚类分配。
• 提出Projective NMF，其中H被约束为置换矩阵，强制每个数据点仅属于一个聚类。
• 通过从核矩阵构建非负亲和矩阵，并利用NMF进行分解，应用非负谱聚类。
• 提出Cluster-NMF，通过在W中强制正交性来提升聚类分离度，减少聚类间的重叠。

实验结果

研究问题

• RQ1 非负矩阵分解（NMF）与k-means聚类在理论上如何关联？
• RQ2 哪些关键的NMF变体能够提升聚类性能与可解释性？
• RQ3 因子矩阵中的稀疏性如何改善聚类分配与可解释性？
• RQ4 Projective NMF与Cluster-NMF通过何种方式利用矩阵结构强制实现硬聚类约束？
• RQ5 非负谱聚类如何利用NMF实现类似谱聚类的结果，同时满足非负性约束？

主要发现

• 在非负性约束下，标准k-means聚类目标函数在数学上等价于NMF优化问题。
• Sparce NMF通过在基矩阵W中强制行级稀疏性，提升了聚类的可解释性，从而实现更清晰的聚类分配。
• Projective NMF通过将H约束为置换矩阵，实现硬聚类，确保每个数据点仅被分配到一个聚类。
• Cluster-NMF通过在基矩阵W中强制正交性，提升了聚类分离度，减少了聚类间的重叠。
• 非负谱聚类通过利用NMF分解从核矩阵导出的非负亲和矩阵，实现了谱聚类的效果。
• 所有所综述的基于NMF的聚类方法均基于矩阵分解与非负性的共同理论基础，实现了稳健且可解释的聚类。