[论文解读] Iterative Views Agreement: An Iterative Low-Rank based Structured Optimization Method to Multi-View Spectral Clustering

Yang Wang, Wenjie Zhang+4 more|arXiv (Cornell University)|Aug 19, 2016

Face and Expression Recognition参考文献 25被引用 124

一句话总结

论文提出一种迭代的基于低秩的结构化优化方法，结合多图拉普拉斯正则化与视图级低秩和稀疏表示，在多视图光谱聚类中达到共识，相较现有方法在噪声条件下表现更好。

ABSTRACT

Multi-view spectral clustering, which aims at yielding an agreement or consensus data objects grouping across multi-views with their graph laplacian matrices, is a fundamental clustering problem. Among the existing methods, Low-Rank Representation (LRR) based method is quite superior in terms of its effectiveness, intuitiveness and robustness to noise corruptions. However, it aggressively tries to learn a common low-dimensional subspace for multi-view data, while inattentively ignoring the local manifold structure in each view, which is critically important to the spectral clustering; worse still, the low-rank minimization is enforced to achieve the data correlation consensus among all views, failing to flexibly preserve the local manifold structure for each view. In this paper, 1) we propose a multi-graph laplacian regularized LRR with each graph laplacian corresponding to one view to characterize its local manifold structure. 2) Instead of directly enforcing the low-rank minimization among all views for correlation consensus, we separately impose low-rank constraint on each view, coupled with a mutual structural consensus constraint, where it is able to not only well preserve the local manifold structure but also serve as a constraint for that from other views, which iteratively makes the views more agreeable. Extensive experiments on real-world multi-view data sets demonstrate its superiority.

研究动机与目标

• 在多视图光谱聚类中，激励并解决单一公共子空间学习的局限性。
• 通过每个视图的图拉普拉斯正则化来保留视图特定的局部流形结构。
• 引入一个迭代的视图一致机制，在不破坏各视图结构的前提下实现跨视图的一致性。
• 开发并求解一个新颖的使用 LADMAP 的优化公式，以在各视图间获得一致、鲁棒的低秩表示。
• 在真实世界的多视图数据集上展示优于最先前方法的聚类性能。

提出的方法

• 将低秩表示与多图拉普拉斯正则化结合起来，为每个视图各自对应一个正则项。
• 对 Z_i 施加稀疏性约束，以捕捉局部邻域结构。
• 引入一个视图一致性项以最小化所有视图之间的视图特定表示（Z_i）的差异。
• 将变量 Z_i、E_i、G_i 组成优化问题，并通过带自适应惩罚的线性化交替方向法 (LADMAP) 求解。
• 使用辅助变量 G_i 来强制非负性并实现高效更新。
• 迭代地更新 Z_i、E_i、G_i 和拉格朗日乘子，利用其他视图的影响来推动一致性（Z_i 的更新包括一个对其他视图求和的项）。
• 收敛后，通过对每个视图的相似性进行平均来构建联合相似性矩阵 W，并对 W 进行谱聚类。
• 关键方程包括包含低秩、稀疏、图正则化和视图一致性项的多视图目标函数、图拉普拉斯正则化项 Tr(Z_i^T L_i Z_i)、以及基于 LADMAP 的更新步骤 (Z_i, E_i, G_i)，对 Z_i 使用 SVT。

实验结果

研究问题

• RQ1 在学习跨视图的聚类友好表示的同时，如何保留视图特定的局部流形结构？
• RQ2 在带噪声的情况下，迭代的、逐视图的低秩学习与跨视图一致性是否能提升多视图光谱聚类？
• RQ3 引入逐视图的图正则化和一致性约束是否优于现有的共正则化或共训练方法？
• RQ4 在现实特征污染下，所提方法对标准多视图聚类基准的影响如何？

主要发现

方法	UCI_ACC	AwA_ACC	NUS_ACC	UCI_NMI	AwA_NMI	NUS_NMI
MFMSC	43.81	17.13	22.81	41.57	11.48	12.21
MAASC	51.74	19.44	25.13	47.85	12.93	11.86
CCAMSC	73.24	24.04	27.56	56.51	15.62	14.56
CoMVSC	80.27	29.93	33.63	63.82	17.30	7.07
Co-training	79.22	29.06	34.25	62.07	18.05	8.10
RLRR	83.67	31.49	35.27	81.20	25.57	18.29
Ours	86.39	37.22	41.02	85.45	31.74	20.61

• 该方法在三个数据集上相比强基线获得更高的聚类准确率（ACC）和归一化互信息（NMI）。
• 在 UCI digits、AwA 和 NUS 上，方法分别达到最佳 ACC：86.39、37.22、41.02，和最佳 NMI：85.45、31.74、20.61。
• 与 MFMSC、MAASC、CCAMSC、CoMVSC、Co-training 和 RLRR 相比，所提方法在 ACC 与 NMI 上均有持续提升。
• 多图正则化和迭代视图一致机制对性能提升贡献显著，尤其在特征带噪声时。
• 该方法通过更好地保留视图特定的本地结构并实现鲁棒共识，超越了规范子空间投影(CCAMSC)及共正则化方法(CoMVSC、Co-training)。