[论文解读] Low-rank Multi-view Clustering in Third-Order Tensor Space

Ming Yin, Junbin Gao+2 more|arXiv (Cornell University)|Aug 30, 2016

Sparse and Compressive Sensing Techniques参考文献 43被引用 6

一句话总结

本文提出 SCMV-3DT，一种新颖的低秩多视图聚类方法，通过 t-积 和循环卷积将多视图数据建模为三阶张量，以捕捉高阶相关性。通过联合施加自表达性、稀疏性与低秩正则化，该方法在人脸、物体、数字和文本数据集上均实现了卓越的聚类性能，优于多个基准测试中的最先进方法。

ABSTRACT

The plenty information from multiple views data as well as the complementary information among different views are usually beneficial to various tasks, e.g., clustering, classification, de-noising. Multi-view subspace clustering is based on the fact that the multi-view data are generated from a latent subspace. To recover the underlying subspace structure, the success of the sparse and/or low-rank subspace clustering has been witnessed recently. Despite some state-of-the-art subspace clustering approaches can numerically handle multi-view data, by simultaneously exploring all possible pairwise correlation within views, the high order statistics is often disregarded which can only be captured by simultaneously utilizing all views. As a consequence, the clustering performance for multi-view data is compromised. To address this issue, in this paper, a novel multi-view clustering method is proposed by using extit{t-product} in third-order tensor space. Based on the circular convolution operation, multi-view data can be effectively represented by a extit{t-linear} combination with sparse and low-rank penalty using "self-expressiveness". Our extensive experimental results on facial, object, digits image and text data demonstrate that the proposed method outperforms the state-of-the-art methods in terms of many criteria.

研究动机与目标

• 解决现有多视图聚类方法仅关注成对视图相关性、忽略多视图数据固有高阶统计依赖性的局限性。
• 通过同时利用所有视图之间的内在多阶相关性，克服多视图数据中的视图不一致与分歧问题。
• 构建一个统一框架，在张量结构中整合低秩与稀疏表示，以增强聚类的鲁棒性与准确性。
• 利用 t-积 与循环卷积操作，将多视图数据建模为三阶张量，保留原始空间结构并实现有效的低秩近似。
• 通过联合学习共享的低维表示来提升聚类性能，该表示能捕捉视图间的一致性，同时保持稀疏性与低秩结构。

提出的方法

• 使用 t-积 将多视图数据表示为三阶张量，通过循环卷积实现所有视图之间高阶相关性的建模。
• 构建一个自表达模型，其中每个视图通过所有视图的线性组合进行重构，使用 t-积 强制表示张量同时具备稀疏性与低秩结构。
• 引入一个联合优化问题，在基于 t-积 的表示张量上施加核范数（用于低秩）与 ℓ1-范数（用于稀疏性），以促进结构化、判别性聚类表示。
• 通过马尔可夫链进行谱聚类，对学习到的张量表示进行最终聚类分配。
• 使用交替方向乘子法（ADMM）高效求解含 t-积 与低秩约束的非凸优化问题。
• 通过避免视图级的展平或拼接操作，保留多视图数据的原始多维结构，从而维持内在相关性。

实验结果

研究问题

• RQ1 通过 t-积 将多视图数据建模为三阶张量，能否通过捕捉超越成对视图交互的更高阶相关性来提升聚类性能？
• RQ2 在基于 t-积 的表示张量上同时施加稀疏性与低秩结构，是否能获得优于仅使用一种或不使用正则化的聚类结果？
• RQ3 在多样化的数据集上，该方法与最先进多视图聚类方法相比，在准确率、鲁棒性与一致性方面表现如何？
• RQ4 与传统的矩阵基或拼接基方法相比，t-积 与循环卷积在多大程度上能更好地保持多视图数据的内在结构？
• RQ5 该方法能否有效缓解视图不一致问题，并在异构或分歧较大的多视图数据上提升聚类性能？

主要发现

• 在 ORL 人脸数据库上，SCMV-3DT 的准确率达到 0.7947 ± 0.0283，优于第二名方法 LT-MSC 的 0.7587 ± 0.0283，在所有评估指标上均表现更优。
• 在 UCI-2view 数据集上，SCMV-3DT 达到 91.00% 的准确率（±0.0000 的极小方差），显著优于相同设置下的 MultiNMF（85.10%）与 CCo-reguSC（81.52%）。
• 在 COIL-20 物体数据集上，SCMV-3DT 达到 0.9800 ± 0.0000 的准确率，表现出近乎完美的聚类性能，远超 LRSD-MSC 的 0.8215 ± 0.0634。
• 在 MNIST 数字数据集上，SCMV-3DT 在 F-score 上达到 0.9418 ± 0.0000，在调整兰德指数（Adjusted Rand Index）上达到 0.9352 ± 0.0000，优于所有基线方法，包括 LT-MSC 与 LRSD-MSC。
• 在 20 Newsgroups 文本数据集上，SCMV-3DT 在 F-score 上达到 0.9298 ± 0.0000，在 NMI 上达到 0.9352 ± 0.0000，展现出在高维稀疏文本数据上的强大性能。
• 该方法在所有测试数据集上，于所有指标（ACC、F-score、NMI、AR）上均持续取得最高或接近最高的得分，证实了其相对于最先进方法的鲁棒性与优越性。