[论文解读] Foundations of Comparison-Based Hierarchical Clustering

Debarghya Ghoshdastidar, Michaël Perrot+1 more|arXiv (Cornell University)|Nov 2, 2018

Advanced Clustering Algorithms Research参考文献 36被引用 10

一句话总结

本文提出了一种可证明一致的基于比较的分层聚类算法，直接在四元组比较上运行——'对象 i 和 j 比 k 和 l 更相似'——而无需依赖序数嵌入。它证明了单链和完全链接本质上是基于比较的，并为此框架提出了两种新颖的平均链接变体，在植株分层模型下实现了强大的统计保证，并在使用 Dasgupta 成本评估的真实数据集上优于基于嵌入的基线方法。

ABSTRACT

We address the classical problem of hierarchical clustering, but in a framework where one does not have access to a representation of the objects or their pairwise similarities. Instead, we assume that only a set of comparisons between objects is available, that is, statements of the form "objects $i$ and $j$ are more similar than objects $k$ and $l$." Such a scenario is commonly encountered in crowdsourcing applications. The focus of this work is to develop comparison-based hierarchical clustering algorithms that do not rely on the principles of ordinal embedding. We show that single and complete linkage are inherently comparison-based and we develop variants of average linkage. We provide statistical guarantees for the different methods under a planted hierarchical partition model. We also empirically demonstrate the performance of the proposed approaches on several datasets.

研究动机与目标

• 开发直接基于序数比较运行、无需对数据进行欧几里得嵌入的分层聚类算法。
• 在植株分层划分模型下，为基于比较的分层聚类提供统计一致性保证。
• 解决基于比较的聚类在聚合设置下理论基础薄弱的问题，尤其是聚集聚类场景。
• 设计适用于非自适应、预先收集的比较（典型于众包应用）的算法。
• 通过 Dasgupta 成本作为评估指标，在真实世界数据集上展示所提方法在聚类质量上优于基于嵌入的方法。

提出的方法

• 仅使用四元组比较重新表述单链和完全链接聚类，证明其本质上是基于比较的。
• 提出两种新颖的平均链接聚类变体，通过依赖基于比较的聚合规则避免对相似度分数进行平均。
• 采用一种统计模型，其中数据遵循植株分层结构，以推导理论保证。
• 使用 Dasgupta 成本作为分层聚类质量的评估指标，偏好相似对象在树中更靠下合并。
• 采用被动采样比较（p ∈ {0.01, ..., 0.1}）以模拟真实世界众包数据收集过程。
• 在标准和基于比较的数据集上，使用 Dasgupta 成本将所提方法（4K-AL、4-AL）与基于嵌入的基线方法（tSTE-AL、FORTE-AL）进行比较。

实验结果

研究问题

• RQ1 是否可以仅从四元组比较中直接执行聚合分层聚类，而无需依赖序数嵌入？
• RQ2 单链和完全链接聚类算法在纯粹基于比较的框架中是否仍保持有效性和一致性？
• RQ3 平均链接聚类能否被适配到基于比较的设置中，同时保持其强大的理论保证？
• RQ4 在植株分层模型下，基于比较的聚类的统计性能如何？
• RQ5 在聚类质量方面，基于比较的方法与基于嵌入的方法相比，实证表现如何？

主要发现

• 所提方法 4K-AL 和 4-AL 在多个数据集上的 Dasgupta 成本低于基于嵌入的方法（tSTE-AL、FORTE-AL），表明其能更好地恢复分层结构。
• 基于嵌入的方法（tSTE-AL、FORTE-AL）的性能对嵌入维度敏感，在某些维度下表现欠佳（例如，tSTE 在 Zoo 数据集上随维度增加而性能下降）。
• 比较比例（p ∈ {0.01, ..., 0.1}）对性能影响极小，表明对稀疏比较数据具有鲁棒性。
• 所提方法不对数据施加强欧几里得结构，而基于嵌入的方法则会引入此类结构，当此类结构不自然时，前者更具优势。
• 在 Car 数据集中，4K-AL 和 4-AL 学习到的层次结构在视觉上连贯，并与直观的汽车分组一致。
• 理论分析证实，单链和完全链接本质上是基于比较的，且新提出的平均链接变体在植株模型下仍保持一致性。