[论文解读] Consensus Clustering: An Embedding Perspective, Extension and Beyond

Hongfu Liu, Zhiqiang Tao+1 more|arXiv (Cornell University)|May 31, 2019

Complex Network Analysis Techniques参考文献 39被引用 9

一句话总结

本文提出了一种基于嵌入的共识聚类统一视角，将共识聚类建模为表示学习问题，通过谱分解、二值编码或图神经网络等方法将分类的聚类分配转化为连续嵌入，以提升鲁棒性和一致性。该方法在统一框架下整合了传统共识聚类方法，将其扩展至模糊聚类、多视图聚类和协同聚类等新设置，并展示了其在约束聚类、域自适应、特征选择和异常检测等任务中的实用性。

ABSTRACT

Consensus clustering fuses diverse basic partitions (i.e., clustering results obtained from conventional clustering methods) into an integrated one, which has attracted increasing attention in both academic and industrial areas due to its robust and effective performance. Tremendous research efforts have been made to thrive this domain in terms of algorithms and applications. Although there are some survey papers to summarize the existing literature, they neglect to explore the underlying connection among different categories. Differently, in this paper we aim to provide an embedding prospective to illustrate the consensus mechanism, which transfers categorical basic partitions to other representations (e.g., binary coding, spectral embedding, etc) for the clustering purpose. To this end, we not only unify two major categories of consensus clustering, but also build an intuitive connection between consensus clustering and graph embedding. Moreover, we elaborate several extensions of classical consensus clustering from different settings and problems. Beyond this, we demonstrate how to leverage consensus clustering to address other tasks, such as constrained clustering, domain adaptation, feature selection, and outlier detection. Finally, we conclude this survey with future work in terms of interpretability, learnability and theoretical analysis.

研究动机与目标

• 将不同共识聚类方法统一于单一基于嵌入的框架下，揭示具有显式目标函数与无显式目标函数的方法之间的隐藏联系。
• 通过建立连贯的嵌入视角，弥补现有综述在理论与结构理解上的不足，将共识聚类与图嵌入及表示学习联系起来。
• 将共识聚类扩展至新设置，包括模糊聚类、多视图聚类和协同聚类，拓展其适用范围。
• 通过将共识聚类整合至约束聚类、域自适应、特征选择和异常检测等其他无监督学习任务中，展示其多功能性。
• 识别并概述未来研究中可解释性、可学习性和理论基础方面的重要开放挑战。

提出的方法

• 利用谱分解、二值编码、去噪归一化和随机表示等策略，将分类的基本划分转化为连续嵌入。
• 提出一种基于图卷积网络（GCNs）的可学习共识图嵌入网络，联合从共关联矩阵和数据特征中学习。
• 采用多层GCN架构，通过层间传播：$ Z^{(l+1)} = \varphi(\tilde{D}^{-\frac{1}{2}}\tilde{S}\tilde{D}^{-\frac{1}{2}}Z^{(l)}W^{(l)}) $，其中 $ \tilde{S} $ 为共关联矩阵，$ Z^{(0)} = X $。
• 使用共关联矩阵作为鲁棒的、以共识为导向的图结构，替代传统的k-NN或拉普拉斯图等图结构。
• 通过生成高质量伪标签，将共识聚类集成至下游任务中，以指导特征选择、异常检测和域自适应中的学习过程。
• 提出一种端到端可学习的共识框架，联合优化基本划分生成与融合过程，可能通过Dropout或其他机制实现多样性。

实验结果

研究问题

• RQ1 如何建立一个统一的基于嵌入的框架，将具有显式目标函数与无显式目标函数的方法统一起来？
• RQ2 哪些关键嵌入策略（如谱方法、二值编码、去噪）能够实现更鲁棒且可解释的共识聚类过程？
• RQ3 如何将共识聚类扩展至复杂设置，如模糊聚类、多视图聚类和协同聚类问题？
• RQ4 共识聚类在何种方式下可被用于解决更广泛的无监督学习任务，如约束聚类、域自适应和特征选择？
• RQ5 共识聚类在根本理论与实践层面面临哪些挑战，特别是可解释性、端到端可学习性以及泛化能力方面？

主要发现

• 嵌入视角成功地将两类主要的共识聚类方法——具有显式目标函数与无显式目标函数的方法——统一起来，表明它们均基于基本划分的变换表示进行操作。
• 谱分解与基于共关联矩阵的嵌入为共识聚类提供了坚实基础，即使在输入划分存在噪声或多样性时，也能实现鲁棒且稳定的聚类划分。
• 所提出的基于GCN的共识图嵌入网络能从共关联矩阵中学习到有意义的低维表示，显著提升下游任务中的聚类性能。
• 通过使用共识生成的伪标签，共识聚类可被有效重用于约束聚类、域自适应、特征选择和异常检测等任务。
• 本研究识别出三大开放挑战：可解释性（将聚类与原始特征关联）、可学习性（端到端联合优化划分与融合）以及理论分析（泛化性、收敛性与误差界）。
• 实证结果表明，基于嵌入的共识聚类在鲁棒性和稳定性方面优于传统方法，尤其在处理噪声特征和整合异构聚类源方面表现更优。