[论文解读] Seeking Commonness and Inconsistencies: A Jointly Smoothed Approach to Multi-view Subspace Clustering

Xiaosha Cai, Dong Huang+2 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Clustering Algorithms Research被引用 5

一句话总结

该论文提出JSMC，一种新颖的多视图子空间聚类方法，通过联合建模跨视图的共性与不一致性，同时利用视图一致性分组效应和低秩正则化，实现性能优越的聚类。通过将这些组件整合到统一的优化框架中，JSMC在多个基准数据集上实现了最先进水平的聚类性能，通过联合平滑正则化和结构化表示学习，显著提升了鲁棒性。

ABSTRACT

Multi-view subspace clustering aims to discover the hidden subspace structures from multiple views for robust clustering, and has been attracting considerable attention in recent years. Despite significant progress, most of the previous multi-view subspace clustering algorithms are still faced with two limitations. First, they usually focus on the consistency (or commonness) of multiple views, yet often lack the ability to capture the cross-view inconsistencies in subspace representations. Second, many of them overlook the local structures of multiple views and cannot jointly leverage multiple local structures to enhance the subspace representation learning. To address these two limitations, in this paper, we propose a jointly smoothed multi-view subspace clustering (JSMC) approach. Specifically, we simultaneously incorporate the cross-view commonness and inconsistencies into the subspace representation learning. The view-consensus grouping effect is presented to jointly exploit the local structures of multiple views to regularize the view-commonness representation, which is further associated with the low-rank constraint via the nuclear norm to strengthen its cluster structure. Thus the cross-view commonness and inconsistencies, the view-consensus grouping effect, and the low-rank representation are seamlessly incorporated into a unified objective function, upon which an alternating optimization algorithm is performed to achieve a robust subspace representation for clustering. Experimental results on a variety of real-world multi-view datasets confirm the superiority of our approach. Code available: https://github.com/huangdonghere/JSMC.

研究动机与目标

• 为解决现有多视图子空间聚类方法过度关注视图一致性而忽视跨视图不一致性的局限性。
• 通过利用所有视图的局部结构，联合实现视图一致性分组效应，改进子空间表示学习。
• 通过在共性表示上引入核范数正则化，实现低秩约束，从而增强聚类鲁棒性。
• 将跨视图共性、不一致性、局部结构建模与低秩表示统一到单一优化目标中。
• 设计一种交替优化算法，高效求解联合目标，实现鲁棒聚类。

提出的方法

• 该方法将每个视图的子空间表示分解为视图共性矩阵与视图不一致性矩阵，以显式建模视图之间的共享与差异结构。
• 引入视图一致性分组效应，通过所有视图的局部结构联合正则化共性表示，提升鲁棒性与一致性。
• 通过核范数最小化进一步正则化共性表示，以强制实现低秩结构并增强聚类紧凑性。
• 构建统一的目标函数，整合自表达损失、不一致性建模、平滑正则化与低秩约束，实现端到端优化。
• 采用交替优化算法，迭代更新共性矩阵、不一致性矩阵及其他变量，确保收敛性与稳定性。
• 该框架设计具备可扩展性与可拓展性，未来可扩展至二部图或集成聚类场景。

实验结果

研究问题

• RQ1 联合建模跨视图共性与不一致性是否能提升多视图子空间聚类性能？
• RQ2 引入视图一致性分组效应——即利用所有视图的局部结构——如何增强表示学习？
• RQ3 通过核范数实现的低秩正则化在多视图表示中对聚类结构的改善程度如何？
• RQ4 各组件（不一致性、平滑性、低秩性）对整体聚类性能的相对贡献如何？
• RQ5 所提方法是否能在多样化的现实世界数据集上超越最先进多视图子空间聚类方法？

主要发现

• JSMC在所有基准数据集上均取得最佳平均聚类准确率（61.54%）与标准化互信息（55.05%），优于现有方法。
• 消融研究显示，若移除任意一个核心组件（一致性、平滑性或低秩性），性能均显著下降，证实其关键作用。
• 在COIL-20数据集上，JSMC达到83.96%准确率与88.68%纯度，显著优于次优方法超过5个百分点。
• 消融分析确认，视图一致性分组效应贡献显著，若将其移除，准确率下降至65.17%。
• 在Reuters数据集上，JSMC实现46.75%准确率与48.58%纯度，显著高于基线方法，表明在文本密集型多视图数据中表现强劲。
• 该方法在图像、文本及混合多视图数据集等多种数据类型上均保持高性能，展现出良好的泛化能力与鲁棒性。