[论文解读] Hierarchical Correlation Clustering and Tree Preserving Embedding

Morteza Haghir Chehreghani, Chehreghani, Mostafa Haghir|arXiv (Cornell University)|Feb 18, 2020

Advanced Clustering Algorithms Research参考文献 51被引用 8

一句话总结

本文提出分层相关聚类（HCC），一种新颖的方法，将相关聚类扩展至从正负成对相似性中生成分层聚类。通过整合极小化最大距离（minimax dissimilarities）与树保持嵌入（tree-preserving embeddings），HCC 实现了无监督表示学习，并在无需超参数调优或预先指定聚类数量的情况下，对拉长的、任意形状的数据集实现了完美聚类。

ABSTRACT

We propose a hierarchical correlation clustering method that extends the well-known correlation clustering to produce hierarchical clusters applicable to both positive and negative pairwise dissimilarities. Then, in the following, we study unsupervised representation learning with such hierarchical correlation clustering. For this purpose, we first investigate embedding the respective hierarchy to be used for tree preserving embedding and feature extraction. Thereafter, we study the extension of minimax distance measures to correlation clustering, as another representation learning paradigm. Finally, we demonstrate the performance of our methods on several datasets.

研究动机与目标

• 填补现有分层聚类方法在处理正负成对相似性方面的空白。
• 开发相关聚类的分层扩展，以保留多层级聚类结构。
• 通过分层结构的树保持嵌入实现无监督表示学习。
• 探究将极小化最大距离与相关聚类结合，以提升对复杂、拉长聚类结构的检测能力。
• 在具有多样化聚类形状的真实世界与合成数据集上，验证 HCC 及其变体的有效性。

提出的方法

• 提出 HCC 作为一种凝聚式分层聚类方法，采用一种针对正负成对关系量身定制的新颖类间相异度函数。
• 设计一种树保持嵌入框架，将 HCC 的树状图（dendrogram）映射为低维特征表示，以支持下游任务。
• 将极小化最大距离度量整合到相关聚类中，以增强对非球形、拉长聚类结构的检测能力。
• 在聚类前使用动态时间规整（dynamic time warping）与 t-SNE 可视化时间轨迹数据。
• 在 HCC 衍生的特征上应用基于高斯混合模型（GMM）的聚类，以评估表示质量。
• 构建 K-近邻图，将邻居标记为 +1，非邻居标记为 -1，然后在有无极小化最大距离的情况下应用相关聚类。

实验结果

研究问题

• RQ1 相关聚类能否被推广以在处理正负成对相似性的同时生成分层聚类结构？
• RQ2 如何对 HCC 的分层结构进行嵌入，以在下游表示学习中保持树拓扑？
• RQ3 极小化最大距离能否提升相关聚类在具有复杂、拉长聚类形状数据集上的性能？
• RQ4 极小化最大距离与相关聚类的结合是否能消除无监督聚类中对超参数调优的需求？
• RQ5 在真实世界与合成数据集上，HCC 与基线聚类方法相比，在聚类质量与聚类数量检测方面表现如何？

主要发现

• HCC 在具有任意形状和拉长结构的数据集上实现了完美聚类（MI 与 Rand 指数 = 1），显著优于标准相关聚类（得分低于 0.2）。
• 极小化最大距离与相关聚类的结合在所有测试的复杂形状数据集上均实现了完美聚类，且无需任何超参数调优。
• HCC+GMM（即使用 HCC 衍生特征作为高斯混合模型输入）的聚类得分略高于仅使用 HCC 进行最终聚类的结果。
• 在包含 15,000 个网页的真实网页数据集上，HCC 与 HCC+GMM 均在聚类性能上优于基线方法，证明了该方法的可扩展性与有效性。
• 该方法成功对 1,024 个车辆运动轨迹实现了完美聚类（MI = Rand = 1），准确识别出三种不同类型：左方驶过、右方驶过与切入动作。
• HCC 无需预先指定聚类数量即可自动确定正确聚类数，实现了无监督学习中的关键承诺。