[论文解读] Ellipsoidal Rounding for Nonnegative Matrix Factorization Under Noisy Separability

Tomohiko Mizutani|arXiv (Cornell University)|Sep 23, 2013

Sparse and Compressive Sensing Techniques参考文献 37被引用 18

一句话总结

本文提出了一种在噪声可分性条件下的非负矩阵分解（NMF）椭球形舍入算法，利用最小体积外接椭球（MVEE）识别位于椭球边界上的基向量。该方法在无噪声数据上具有正确性，在噪声环境下具有鲁棒性，在真实语料库的恢复率和文档聚类准确率方面优于SPA和XRAY。

ABSTRACT

We present a numerical algorithm for nonnegative matrix factorization (NMF) problems under noisy separability. An NMF problem under separability can be stated as one of finding all vertices of the convex hull of data points. The research interest of this paper is to find the vectors as close to the vertices as possible in a situation in which noise is added to the data points. Our algorithm is designed to capture the shape of the convex hull of data points by using its enclosing ellipsoid. We show that the algorithm has correctness and robustness properties from theoretical and practical perspectives; correctness here means that if the data points do not contain any noise, the algorithm can find the vertices of their convex hull; robustness means that if the data points contain noise, the algorithm can find the near-vertices. Finally, we apply the algorithm to document clustering, and report the experimental results.

研究动机与目标

• 解决在数据点受噪声污染时识别非负矩阵分解（NMF）中基向量的挑战。
• 开发一种算法，在无噪声可分数据上保持正确性，在噪声数据上保持鲁棒性。
• 在恢复率和聚类性能方面超越现有NMF算法（如SPA和XRAY）。
• 通过从文本数据的低秩近似中提取可识别的主题，实现准确的文档聚类。
• 提出一种基于凸包和外接椭球的几何方法，以定位对应于基向量的顶点。

提出的方法

• 计算数据点的最小体积外接椭球（MVEE），以捕捉其凸包的形状。
• 利用几何性质，将基向量识别为位于MVEE边界的点，即单形的顶点与MVEE相切。
• 在MVEE计算前使用奇异值分解（SVD）进行降维，以保持凸包的全维性。
• 采用两步流程：首先通过SVD进行降维，然后在降维后的数据上计算MVEE，以定位近似基向量。
• 通过理论分析正式建立正确性和鲁棒性：证明在无噪声条件下算法能恢复精确顶点，在有界噪声下能识别近似顶点。
• 将算法实现为算法2，使用MATLAB的svds进行稀疏SVD，MVEE计算通过凸优化实现。

实验结果

研究问题

• RQ1 能否通过椭球形舍入识别凸包的顶点，使NMF算法在无噪声可分数据上实现正确性？
• RQ2 当数据中存在噪声时，所提出的方法是否能通过识别近似基向量保持鲁棒性？
• RQ3 在不同噪声水平下，所提出算法的恢复率与SPA和XRAY相比如何？
• RQ4 与现有方法相比，该算法在文档聚类中是否能提取出更可解释且更准确的主题？
• RQ5 是否可以通过使用替代的凸集代替SVD计算MVEE，同时保持性能？

主要发现

• 所提出算法具有正确性：在无噪声数据上，能精确恢复凸包的顶点，对应于真实的基向量。
• 该算法表现出鲁棒性：在有界噪声下，能识别近似基向量，其恢复率优于SPA和XRAY。
• 在Reuters-21578数据集上，ER-SPA（所提出算法的实现）的调整兰德指数（AC）和标准化互信息（NMI）均高于SPA。
• 在20 Newsgroups数据集上，ER-SPA在AC和NMI上均优于SPA，表明聚类性能更优。
• 在BBC语料库的主题提取中，ER-SPA生成了更具可解释性的主题——例如，正确识别出‘政治’主题，而SPA未能识别，这归因于更优的锚定词对齐。
• 该算法能高效处理大规模稀疏文档-词矩阵，如在20 Newsgroups语料库（18,846×26,213矩阵）上成功执行稀疏SVD所示。