[论文解读] Graph Regularized Non-negative Matrix Factorization By Maximizing Correntropy

Le Li, Jianjun Yang+4 more|arXiv (Cornell University)|May 9, 2014

Face and Expression Recognition参考文献 47被引用 9

一句话总结

本文提出了一种新颖的图正则化非负矩阵分解（NMF）方法，通过最大化核相关性来提升无监督图像聚类性能。通过将基于核相关性的误差度量与图正则化相结合，以保持局部数据几何结构，该方法能够自适应地学习特征的核函数，并在Caltech101和Caltech256数据集上实现了优于最先进NMF变体的聚类准确率和标准化互信息（NMI）。

ABSTRACT

Non-negative matrix factorization (NMF) has proved effective in many clustering and classification tasks. The classic ways to measure the errors between the original and the reconstructed matrix are $l_2$ distance or Kullback-Leibler (KL) divergence. However, nonlinear cases are not properly handled when we use these error measures. As a consequence, alternative measures based on nonlinear kernels, such as correntropy, are proposed. However, the current correntropy-based NMF only targets on the low-level features without considering the intrinsic geometrical distribution of data. In this paper, we propose a new NMF algorithm that preserves local invariance by adding graph regularization into the process of max-correntropy-based matrix factorization. Meanwhile, each feature can learn corresponding kernel from the data. The experiment results of Caltech101 and Caltech256 show the benefits of such combination against other NMF algorithms for the unsupervised image clustering.

研究动机与目标

• 为解决传统线性误差度量（如$l_2$和KL散度）在捕捉图像数据非线性结构方面的局限性。
• 将基于图正则化的几何结构保持机制整合到基于核相关性的NMF中，以提升聚类性能。
• 在分解过程中实现对每个特征的自适应核学习，以增强表征能力。
• 开发一种结合最大核相关性和图正则化的收敛优化算法。
• 在基准图像数据集上评估所提方法，并证明其优于现有NMF方法。

提出的方法

• 提出一种新的NMF目标函数，通过最大化原始矩阵$X$与其低秩近似$H \cdot W$之间的核相关性。
• 利用最近邻图引入图正则化，以保持数据的局部不变性和内在流形结构。
• 在图构建中对亲和矩阵采用0-1加权方式，以简化实现同时保持性能。
• 推导出一种具有乘法更新规则的迭代优化算法，保证收敛至驻点。
• 通过核相关性核函数实现每个特征的自学习核参数，以适应数据特定的非线性特性。
• 将基于核相关性的误差最小化与几何结构保持统一整合到一个NMF框架中。

实验结果

研究问题

• RQ1 与传统的$l_2$或KL散度基方法相比，最大化核相关性是否能提升NMF在图像聚类中的性能？
• RQ2 通过保留局部数据几何结构，引入图正则化是否能提升基于核相关性的NMF的聚类准确率？
• RQ3 所提方法是否能自适应地学习特征特定的核函数，从而实现更好的表征学习？
• RQ4 在不同聚类数下，所提方法与最先进NMF变体相比，在聚类准确率和NMI方面表现如何？
• RQ5 该算法在高维图像数据中，对聚类数增加是否具有鲁棒性，尤其是当聚类数较多时？

主要发现

• 所提出的MCCGR（最大核相关性图正则化NMF）在$K \leq 10$时，于Caltech101和Caltech256数据集上均实现了最高的聚类准确率，且性能始终优于其他NMF变体。
• 在标准化互信息（NMI）方面，MCCGR在所有测试的$K$值下均取得最佳结果，展现出更优的语义聚类质量。
• 当$K > 10$时，所有方法的准确率均下降，但MCCGR表现最稳健，性能下降幅度最小。
• GRNMF和MCC NMF分别位列第二和第三，表明图正则化和核相关性对性能提升均有显著贡献。
• 投影梯度NMF（PG）在$K$增加时性能迅速下降，凸显其在可扩展性和适应性方面的局限性。
• 该方法能够自学习每个特征的核函数，从而在捕捉复杂非线性图像结构方面表现出色。