[论文解读] EquiNMF: Graph Regularized Multiview Nonnegative Matrix Factorization

Daniel Hidru, Anna Goldenberg|arXiv (Cornell University)|Sep 14, 2014

Advanced Image and Video Retrieval Techniques参考文献 13被引用 30

一句话总结

EquiNMF 提出了一种图正则化的多视图非负矩阵分解方法，能够以无监督、数据特定的方式自动学习最优参数。通过强制所有视图贡献相等，并整合图正则化以保留数据的内在结构，EquiNMF 在多个影像数据集上实现了卓越的聚类准确率，始终优于单视图和多视图 NMF 基线方法。

ABSTRACT

Nonnegative matrix factorization (NMF) methods have proved to be powerful across a wide range of real-world clustering applications. Integrating multiple types of measurements for the same objects/subjects allows us to gain a deeper understanding of the data and refine the clustering. We have developed a novel Graph-reguarized multiview NMF-based method for data integration called EquiNMF. The parameters for our method are set in a completely automated data-specific unsupervised fashion, a highly desirable property in real-world applications. We performed extensive and comprehensive experiments on multiview imaging data. We show that EquiNMF consistently outperforms other single-view NMF methods used on concatenated data and multi-view NMF methods with different types of regularizations.

研究动机与目标

• 解决在整合多个数据视图的同时保持其内在几何结构以提升聚类性能的挑战。
• 消除在多视图 NMF 中对正则化权重和视图贡献进行人工或有监督参数调优的需求。
• 开发一种方法，确保所有视图贡献相等，且不依赖于共识矩阵，从而简化优化过程并提高鲁棒性。
• 通过将图正则化整合到多视图 NMF 中，捕捉每个视图内的局部数据结构，从而提升聚类性能。
• 提供一种完全无监督、数据自适应的参数估计策略，具有可扩展性，并在多样化数据集中保持一致性。

提出的方法

• 提出一种新颖的目标函数，将图正则化与多视图 NMF 结合，明确强制所有视图贡献相等，且不使用共识矩阵。
• 引入一种重构优化问题，其中每个视图的分解通过图拉普拉斯矩阵进行正则化，确保相似的数据点具有相似的低维表示。
• 使用对称相似性矩阵 $W$ 及其对应的拉普拉斯矩阵 $\Delta = D - W$ 来编码每个视图中的局部几何结构。
• 采用迭代乘法更新规则，同时包含重构误差和图正则化项：$V_{j,k} \leftarrow V_{j,k} \frac{(X^T U)_{j,k} + \gamma (WV)_{j,k}}{(V U^T U)_{j,k} + \gamma (D V)_{j,k}}$。
• 通过启发式方法自动设定图正则化参数 $\gamma$，避免交叉验证，确保在真实无监督场景下的鲁棒性。
• 采用一种稳定的初始化策略——加入噪声的 k-means，避免因初始点不佳导致的性能下降，且不增加计算成本。

实验结果

研究问题

• RQ1 图正则化是否能通过保留每个视图内局部数据结构来提升多视图 NMF 的性能？
• RQ2 在不依赖共识矩阵或复杂优化调度的情况下，如何在多视图 NMF 中强制实现多个视图的相等贡献？
• RQ3 在无标签的无监督多视图设置中，自动参数调优对聚类性能的影响是什么？
• RQ4 所提出的方法是否能在视图贡献和数据结构各异的多样化数据集中保持鲁棒性和一致性？
• RQ5 在不同参数设置下，EquiNMF 与现有多视图 NMF 方法在准确率和稳定性方面如何比较？

主要发现

• EquiNMF 在三个影像数据集上始终优于将数据拼接后的单视图 NMF 以及其他采用不同正则化的多视图 NMF 方法。
• 即使图正则化权重 $\gamma$ 通过启发式方法自动设定，该方法仍能实现卓越的聚类准确率，无需交叉验证。
• 当图正则化被过度强调时，性能显著下降，表明最优平衡出现在各视图贡献相等（乘数 = 1）时。
• 由于省去了共识矩阵，优化过程更加简化，避免了在更新视图特定因子与共识矩阵之间交替进行的需要，从而提升了收敛性和稳定性。
• 随机初始化导致性能方差较高，而所提出的加入噪声的 k-means 初始化策略则实现了稳定且高性能的结果，且计算开销极低。
• 该方法在多样化数据集中表现出强鲁棒性：尽管其他方法在某一数据集上表现良好而在另一数据集上表现不佳，EquiNMF 在所有测试数据集中均保持一致的高性能表现。