[论文解读] Converged Algorithms for Orthogonal Nonnegative Matrix Factorizations

Andri Mirzal|arXiv (Cornell University)|Oct 26, 2010

Matrix Theory and Algorithms参考文献 27被引用 8

一句话总结

本文提出了用于统一正交和双正交非负矩阵分解（NMF）的收敛加法更新（AU）算法，通过将Lin的框架推广至矩阵形式以处理基于矩阵的正交性约束，提供了严格的收敛性证明。AU-U与AU-B算法确保目标函数值非递增并收敛至驻点，在文档聚类任务中优于乘法更新（MU）变体，为现有非收敛的MU基正交NMF方法提供了一种稳健且可证明收敛的替代方案。

ABSTRACT

This paper proposes uni-orthogonal and bi-orthogonal nonnegative matrix factorization algorithms with robust convergence proofs. We design the algorithms based on the work of Lee and Seung [1], and derive the converged versions by utilizing ideas from the work of Lin [2]. The experimental results confirm the theoretical guarantees of the convergences.

研究动机与目标

• 解决现有基于乘法更新（MU）的正交NMF算法缺乏收敛性保证的问题。
• 构建一个通用框架，用于构造带有基于矩阵的辅助约束（如正交性）的NMF收敛算法。
• 将Lin的加法更新（AU）框架——最初用于标准NMF——推广至矩阵形式，以处理由正交性约束引入的高阶导数。
• 为非收敛的MU基正交NMF方法提供一种可证明收敛的替代方案，尤其适用于聚类应用。
• 通过实证验证所提出的基于AU的算法在文档与词聚类数据集上的收敛性与性能表现。

提出的方法

• 通过将Lin的AU框架推广至矩阵形式，推导出统一正交（AU-U）与双正交（AU-B）NMF的加法更新规则，从而在正交性约束下实现收敛性证明。
• 利用目标函数的泰勒级数展开以处理由正交性引入的高阶导数，从而实现非递增性质的证明。
• 通过KKT条件实施互补松弛性检查以数值验证驻点性，但主要以目标函数值非递增作为实际收敛性的代理指标。
• 引入可调参数α和β用于正则化，按数据集进行调优，预期采用较小值可提升聚类性能，类比于稀疏NMF的特性。
• 采用最多20次迭代以在收敛速度与精度之间取得平衡，鉴于MU与AU方法本身收敛均较慢。
• 在Reuters数据集上，将所提出的AU-U与AU-B算法与标准NMF（LS）、D-U、MU-U、MU-B及D-B方法进行比较，评估指标为F-measure与聚类准确率。

实验结果

研究问题

• RQ1 能否在现有MU基正交NMF方法缺乏收敛性保证的前提下，开发出一种可证明收敛的算法？
• RQ2 Lin的加法更新框架能否从向量形式推广至矩阵形式，以处理约束NMF中行与列之间的相互依赖关系？
• RQ3 所提出的基于AU的算法在强正交性约束下，即使存在高阶导数，是否仍能保持目标函数值非递增？
• RQ4 所提出的收敛AU算法（AU-U与AU-B）在聚类性能上与现有MU基及标准NMF方法相比如何？
• RQ5 通过调优数据集特定参数α与β，能否进一步提升所提出算法的性能？

主要发现

• 在所有Reuters数据集的文档聚类中，AU-U算法实现了最佳平均F-measure（0.63405），优于LS、D-U与MU-U。
• MU-U在小类别数任务中表现强劲，表明其可能对参数调优或数据集特性敏感。
• 所有双正交NMF变体（D-B、MU-B、AU-B）在文档与词聚类任务中表现均较差，尽管先前有研究声称D-B表现更优。
• 在词聚类任务中，D-U实现了最高平均F-measure（0.39189），紧随其后的是LS、MU-U与AU-U，表明其在该任务中表现更优。
• 所提出的AU算法在整个迭代过程中保持了非递增的目标函数值，即使在α或β较大时亦然，证实了其稳定性和收敛行为。
• 由于所有算法具有相同的计算复杂度（#iterations × M × N × R），运行时间相近，表明收敛框架未引入显著性能开销。