[论文解读] Sparse and Unique Nonnegative Matrix Factorization Through Data Preprocessing

Nicolas Gillis|arXiv (Cornell University)|Apr 11, 2012

Sparse and Compressive Sensing Techniques参考文献 40被引用 110

一句话总结

本文提出了一种新颖的数据预处理技术，通过提升稀疏性和唯一性来增强非负矩阵分解（NMF）的性能。通过使用逆正M-矩阵对输入矩阵进行变换，该方法在可分性和秩为三的条件下，可证明地产生更稀疏且更良态的NMF解，且在图像数据集上的实证验证表明，无需超参数调优即可实现具有竞争力的性能。

ABSTRACT

Nonnegative matrix factorization (NMF) has become a very popular technique in machine learning because it automatically extracts meaningful features through a sparse and part-based representation. However, NMF has the drawback of being highly ill-posed, that is, there typically exist many different but equivalent factorizations. In this paper, we introduce a completely new way to obtaining more well-posed NMF problems whose solutions are sparser. Our technique is based on the preprocessing of the nonnegative input data matrix, and relies on the theory of M-matrices and the geometric interpretation of NMF. This approach provably leads to optimal and sparse solutions under the separability assumption of Donoho and Stodden (NIPS, 2003), and, for rank-three matrices, makes the number of exact factorizations finite. We illustrate the effectiveness of our technique on several image datasets.

研究动机与目标

• 为解决标准NMF的病态性和非唯一性问题，后者会导致多个等价解。
• 通过数据预处理而非优化惩罚项，提升NMF解的稀疏性和良态性。
• 在可分性和低秩条件下，为稀疏性和解的有限性建立理论保证。
• 开发一种利用M-矩阵和逆正矩阵的预处理框架，以转换输入数据。
• 在人脸和高光谱图像数据集上展示实证有效性，性能与最先进的稀疏NMF方法相当。

提出的方法

• 该方法使用逆正矩阵（特别是M-矩阵）对输入的非负矩阵 $ M $ 进行预处理变换。
• 它将 $ M $ 变换为新矩阵 $ \mathcal{P}(M) $，使得 $ \mathcal{P}(M) = M Q $，其中 $ Q $ 为逆正矩阵且 $ Q^{-1} $ 为M-矩阵。
• 预处理确保 $ \mathcal{P}(M) $ 为非负且列范数减小，从而在后续NMF中促进稀疏性。
• 该方法基于NMF的几何解释，即通过凸包和嵌套多面体，其中 $ \theta(M) $ 位于 $ \operatorname{conv}(\theta(U)) \subseteq \Delta^m $ 内。
• 对于秩为三的矩阵，预处理确保精确NMF解的集合是有限的，且在一般条件下具有唯一性。
• 一种广义预处理变体允许 $ \mathcal{P}(M) $ 仅以松弛方式保持非负，从而提高对噪声和稀疏性的鲁棒性。

实验结果

研究问题

• RQ1 是否可以通过数据预处理使NMF解更稀疏且更唯一，而无需修改优化目标？
• RQ2 在何种条件下，通过逆正矩阵的预处理可产生可证明最优且稀疏的NMF解？
• RQ3 预处理是否能确保秩为三的矩阵具有有限多个精确NMF解？
• RQ4 预处理策略能否推广以处理噪声和稀疏数据，同时保持稀疏性和唯一性？
• RQ5 与依赖 $ \ell_1 $-惩罚项的标准稀疏NMF技术相比，该预处理在性能和参数调优方面表现如何？

主要发现

• 在Donoho和Stodden的可分性假设下，预处理可识别出 $ M $ 的列的凸包的顶点，从而得到最优且稀疏的解。
• 对于任意秩为二的矩阵，由于可分性条件天然满足，该预处理是最优的。
• 在精确秩为三的情况下，预处理确保精确NMF解的集合是有限的，且有强烈证据表明在一般条件下具有唯一性。
• 该方法产生的NMF解比标准方法更稀疏，且在性能上与 $ \ell_1 $-惩罚稀疏NMF相当，且无需参数调优。
• 计算成本较高，复杂度为 $ \mathcal{O}(n^{4.5}) $，源于求解 $ n $ 个 CLLS 问题，但可通过启发式列子集选择降低。
• 一个反例表明，并非所有非唯一NMF问题都能被当前M-矩阵框架解决，提示更广泛的逆正矩阵类可能进一步提升稀疏性。