[论文解读] Hierarchical Clustering Given Confidence Intervals of Metric Distances

Weiyu Huang, Alejandro Ribeiro|arXiv (Cornell University)|Oct 13, 2016

Topological and Geometric Data Analysis参考文献 15被引用 4

一句话总结

本文提出了一套公理化框架，用于在仅知度量距离置信区间时的层次聚类。它引入了两种极值方法——合并聚类法与聚类合并法，满足价值公理与变换公理，为所有可接受的聚类方法提供通用的上下界，且在追踪移动点及区分脑功能连接网络方面展现出实际效用。

ABSTRACT

This paper considers metric spaces where distances between a pair of nodes are represented by distance intervals. The goal is to study methods for the determination of hierarchical clusters, i.e., a family of nested partitions indexed by a resolution parameter, induced from the given distance intervals of the metric spaces. Our construction of hierarchical clustering methods is based on defining admissible methods to be those methods that abide to the axioms of value - nodes in a metric space with two nodes are clustered together at the convex combination of the distance bounds between them - and transformation - when both distance bounds are reduced, the output may become more clustered but not less. Two admissible methods are constructed and are shown to provide universal upper and lower bounds in the space of admissible methods. Practical implications are explored by clustering moving points via snapshots and by clustering networks representing brain structural connectivity using the lower and upper bounds of the network distance. The proposed clustering methods succeed in identifying underlying clustering structures via the maximum and minimum distances in all snapshots, as well as in differentiating brain connectivity networks of patients from those of healthy controls.

研究动机与目标

• 开发一种形式化的公理化方法，用于在精确距离未知但由置信区间限定时的层次聚类。
• 定义满足价值公理（聚类在边界凸组合处）与变换公理（在一致占优下单调性）的可接受聚类方法。
• 构建两种极值方法——合并聚类法与聚类合并法，为所有可接受方法提供通用的上下界。
• 在基于快照的移动点聚类与患者及健康对照组脑结构连接网络的差异识别中，展示其实际效用。

提出的方法

• 合并聚类法将成对距离估计为下界与上界之间的凸组合，然后使用链中最大边权重作为代价，应用单链接聚类。
• 聚类合并法分别在下界与上界距离矩阵上计算单链接层次聚类，然后通过相同的凸组合将结果合并，形成最终的超度量。
• 通过要求两节点系统在凸组合处精确聚类（由置信权重 α 参数化），强制实施价值公理。
• 将变换公理调整为要求：若一个网络的边界一致占优于另一个，则其结果聚类必须至少同样精细（即更紧密聚类）。
• 理论分析证明，合并聚类法在所有可接受方法中产生最粗糙的聚类（上界），而聚类合并法产生最精细的聚类（下界）。
• 该框架使用 α-距离缩减映射，证明结果超度量中的最小分离距离下界由区间极值的凸组合所限定。

实验结果

研究问题

• RQ1 当仅能获得度量距离的置信区间时，如何一致地定义层次聚类？
• RQ2 哪些公理可确保在距离不确定性下聚类行为保持逻辑一致性？
• RQ3 能否构造出在这些公理下可界定所有其他可接受方法的极值聚类方法？
• RQ4 在具有不确定或基于区间的距离数据的真实场景中，所提出方法的表现如何？
• RQ5 这些方法能否在动态或生物网络（如脑连接网络）中识别出有意义的结构差异？

主要发现

• 合并聚类法在所有可接受方法中产生最粗糙的聚类，作为通用上界。
• 聚类合并法在所有可接受方法中产生最精细的聚类，作为通用下界。
• 两种方法均满足价值公理与调整后的变换公理，确保在不确定性下保持逻辑一致性。
• 在移动点实验中，方法仅基于快照中最大与最小距离，成功识别出潜在聚类结构。
• 在脑网络分析中，方法成功区分了患者与健康对照组的连接模式，下界与上界方法揭示了不同的聚类行为。
• 理论框架证明，任何可接受方法产生的超度量，其成对分离距离必须介于区间极值的凸组合与两种所提极值方法的结果之间。