[论文解读] Incomplete Multi-view Clustering via Graph Regularized Matrix Factorization

Jie Wen, Zheng Zhang+2 more|arXiv (Cornell University)|Sep 17, 2018

Face and Expression Recognition参考文献 25被引用 9

一句话总结

该论文提出了一种新颖的不完整多视图聚类方法 IMC_GRMF，通过图正则化矩阵分解学习一种紧凑且具有判别性的共同表示，无需额外的正则化或惩罚参数。通过基于重构误差的图正则化和正交基约束，该方法在不完整数据上提升了聚类性能，同时支持样本外扩展。

ABSTRACT

Clustering with incomplete views is a challenge in multi-view clustering. In this paper, we provide a novel and simple method to address this issue. Specifically, the proposed method simultaneously exploits the local information of each view and the complementary information among views to learn the common latent representation for all samples, which can greatly improve the compactness and discriminability of the obtained representation. Compared with the conventional graph embedding methods, the proposed method does not introduce any extra regularization term and corresponding penalty parameter to preserve the local structure of data, and thus does not increase the burden of extra parameter selection. By imposing the orthogonal constraint on the basis matrix of each view, the proposed method is able to handle the out-of-sample. Moreover, the proposed method can be viewed as a unified framework for multi-view learning since it can handle both incomplete and complete multi-view clustering and classification tasks. Extensive experiments conducted on several multi-view datasets prove that the proposed method can significantly improve the clustering performance.

研究动机与目标

• 解决某些样本在真实世界多视图数据中部分视图缺失时的聚类挑战，这是多视图数据中的常见问题。
• 克服现有方法的局限性，这些方法要么引入噪声填补，要么需要完整视图作为参考。
• 消除图正则化中多个惩罚参数的手动调参需求，降低复杂度并提高鲁棒性。
• 通过在视图特定基矩阵上施加正交约束，实现样本外扩展。
• 提供一个统一框架，同时处理不完整和完整的多视图聚类与分类任务。

提出的方法

• 将聚类问题建模为矩阵分解任务，以学习所有视图之间的共享潜在表示。
• 基于每个视图的重构误差构建最近邻图，以在无需额外正则化的情况下保留局部几何结构。
• 使用图拉普拉斯矩阵将图正则化整合到目标函数中，以增强表示的紧凑性和判别性。
• 对每个视图的基矩阵施加正交约束，以确保方法能够泛化到未见样本（即实现样本外扩展）。
• 使用具有闭式解的交替优化算法来优化目标函数。
• 通过网格搜索调整两个超参数 λ₁ 和 λ₂，最近邻数的选择基于类别大小的经验法则。

实验结果

研究问题

• RQ1 如何在不依赖完整视图的情况下，有效学习不完整多视图数据的共同潜在表示？
• RQ2 能否在不引入额外正则化项或惩罚参数的前提下，保留表示空间中数据的局部几何结构？
• RQ3 在具有不同视图缺失程度的基准数据集上，所提方法相较于最先进方法的表现如何？
• RQ4 所提方法在超参数选择和缺失数据率变化下的鲁棒性如何？
• RQ5 该方法是否具备对样本外数据的泛化能力，从而支持在真实世界流式或增量学习场景中的部署？

主要发现

• 在手写数字数据集上，70%样本配对时，所提方法达到 51.88% 准确率和 48.28% NMI，优于所有基线方法，包括 GPMVC（49.10%/46.02%）和 DCNMF（50.74%/44.04%）。
• 在 BUAA 数据集上，70%样本配对时，方法达到 51.15% 准确率和 42.74% NMI，显著优于 PVC（43.96%/40.26%）和 IMG（42.36%/33.29%）。
• 在 Caltech7 数据集上，90%视图缺失时，所提方法达到 51.88% 准确率和 48.28% NMI，表明在高缺失率下仍具备强大鲁棒性。
• 该方法在不同参数设置下表现稳定，表明对 λ₁ 和 λ₂ 的敏感度较低，尤其当 λ₁ 在 [10⁰, 10²] 范围内、λ₂ 在 [10⁻⁵, 10⁻¹] 范围内时。
• 收敛性研究证实，目标函数值在 20 次迭代内迅速下降，表明优化过程快速且稳定。
• 当最近邻数在最优范围内选择时（如手写数字数据集为 8–18，BUAA 数据集为 2–6），性能受其影响极小；但当超过类别样本数时，性能急剧下降。