[论文解读] Beyond Low-Rank Representations: Orthogonal Clustering Basis Reconstruction with Optimized Graph Structure for Multi-view Spectral Clustering

Yang Wang, Lin Wu|arXiv (Cornell University)|Aug 4, 2017

Face and Expression Recognition参考文献 21被引用 4

一句话总结

本文提出了一种新型多视角谱聚类方法——正交聚类基重构与优化图结构（OCB-OGS），该方法将低秩表示（LRR）分解为潜在的聚类正交投影，实现了灵活的聚类结构编码与视角一致的图学习。通过联合优化各视角的正交聚类基与局部图结构，OCB-OGS在基准数据集上实现了最先进性能，在准确率与一致性方面优于现有基于LRR的模型。

ABSTRACT

Low-Rank Representation (LRR) is arguably one of the most powerful paradigms for Multi-view spectral clustering, which elegantly encodes the multi-view local graph/manifold structures into an intrinsic low-rank self-expressive data similarity embedded in high-dimensional space, to yield a better graph partition than their single-view counterparts. In this paper we revisit it with a fundamentally different perspective by discovering LRR as essentially a latent clustered orthogonal projection based representation winged with an optimized local graph structure for spectral clustering; each column of the representation is fundamentally a cluster basis orthogonal to others to indicate its members, which intuitively projects the view-specific feature representation to be the one spanned by all orthogonal basis to characterize the cluster structures. Upon this finding, we propose our technique with the followings: (1) We decompose LRR into latent clustered orthogonal representation via low-rank matrix factorization, to encode the more flexible cluster structures than LRR over primal data objects; (2) We convert the problem of LRR into that of simultaneously learning orthogonal clustered representation and optimized local graph structure for each view; (3) The learned orthogonal clustered representations and local graph structures enjoy the same magnitude for multi-view, so that the ideal multi-view consensus can be readily achieved. The experiments over multi-view datasets validate its superiority.

研究动机与目标

• 为解决低秩表示（LRR）在多视角谱聚类中的局限性，特别是其对聚类结构编码的僵化性以及各视角间图结构大小不一致的问题。
• 将LRR重新构型为带有优化局部图结构的潜在聚类正交投影，以实现更具表现力与灵活性的聚类建模。
• 同时学习正交聚类表示与视角一致的、优化的局部图结构，确保理想的多视角一致性。
• 在各视角间实现平衡且幅值相等的表示，以提升多视角一致性与聚类性能。

提出的方法

• 通过低秩矩阵分解将LRR分解为潜在聚类正交表示，其中每一列表示一个正交聚类基。
• 将LRR问题重新表述为各视角正交聚类表示与优化局部图结构的联合优化问题。
• 引入统一的目标函数，强制在表示与图结构上实现各视角间的幅值平衡，从而实现有效的多视角一致性。
• 采用带正则化项的约束优化框架，包括聚类正交性、图优化与多视角一致性项，通过交替优化求解。
• 基于学习到的正交聚类基与优化图结构构建亲和矩阵，以执行谱聚类。
• 通过在各视角间保持表示与图结构的相同幅值，确保多视角聚类的一致性与鲁棒性。

实验结果

研究问题

• RQ1 低秩表示（LRR）能否被重新诠释为具有优化局部图结构的潜在聚类正交投影，以提升多视角聚类性能？
• RQ2 将LRR分解为正交聚类基是否能比传统LRR实现更灵活、更准确的聚类结构建模？
• RQ3 在各视角间联合优化正交表示与局部图结构，是否能带来更好的多视角一致性与聚类性能？
• RQ4 各视角间表示与图结构的幅值一致性如何影响多视角谱聚类的质量？

主要发现

• 所提出的OCB-OGS方法在UCI数字数据集上达到92.22%的聚类准确率，显著优于次优方法（LRRGL为86.39%）。
• 在AwA数据集上，OCB-OGS达到44.55%的准确率，优于RLRR（31.49%）与LRRGL（37.22%），表明其对噪声与复杂结构具有更强的鲁棒性。
• 在NUS-WIDE数据集上，OCB-OGS实现45.78%的准确率与26.42%的NMI，优于所有基线方法，包括CCAMSC与Co-training。
• 图1的可视化对比表明，OCB-OGS生成的多视角亲和矩阵具有更理想的块对角结构，表明聚类一致性更强。
• 超参数分析显示，当λ₂ = 0.7且β = 0.25时性能最优，超出该范围后性能下降，表明超参数具有稳定且鲁棒的敏感性。
• 在20%稀疏噪声污染下，该方法表现出更强的鲁棒性，证实其相比RLRR与LRRGL更能抵御特征噪声。