[论文解读] HCMapper: An interactive visualization tool to compare partition-based flat clustering extracted from pairs of dendrograms

Gautier Marti, Philippe Donnat+2 more|arXiv (Cornell University)|Jul 29, 2015

Data Visualization and Analytics参考文献 25被引用 4

一句话总结

HCMapper 是一种交互式可视化工具，通过在并排的分层结构中显示基于划分的结构，并使用显式的边编码突出显示差异，从而比较从树状图派生的两个层次聚类。它通过视觉强调假设之间的不匹配，实现对分歧聚类（尤其是异常值）的快速检测，如在金融时间序列分析中所示，仅少数资产在相关性模型与相关性加分布模型下表现出偏离。

ABSTRACT

We describe a new visualization tool, dubbed HCMapper, that visually helps to compare a pair of dendrograms computed on the same dataset by displaying multiscale partition-based layered structures. The dendrograms are obtained by hierarchical clustering techniques whose output reflects some hypothesis on the data and HCMapper is specifically designed to grasp at first glance both whether the two compared hypotheses broadly agree and the data points on which they do not concur. Leveraging juxtaposition and explicit encodings, HCMapper focus on two selected partitions while displaying coarser ones in context areas for understanding multiscale structure and eventually switching the selected partitions. HCMapper utility is shown through the example of testing whether the prices of credit default swap financial time series only undergo correlation. This use case is detailed in the supplementary material as well as experiments with code on toy-datasets for reproducible research. HCMapper is currently released as a visualization tool on the DataGrapple time series and clustering analysis platorm at www.datagrapple.com.

研究动机与目标

• 为解决从树状图派生的多个层次聚类进行视觉比较的挑战，特别是当对数据结构的假设不同时。
• 为从业者提供一种直观的交互式工具，以突出显示两个聚类模型在个体数据点或聚类层面的分歧之处。
• 通过结合并置、显式边编码和聚焦+上下文可视化，提升层次聚类结果的可解释性。
• 在金融等领域支持模型验证，其中理解聚类是受相关性驱动还是受其他因素（如分布）影响至关重要。
• 支持检测聚类中的奇异点或异常值，这些可能表明特殊的数据行为，如流动性不足或厚尾收益。

提出的方法

• HCMapper 将两个树状图转换为分层的划分结构，以表示多尺度下的聚类。
• 采用并置的视觉布局，将两个选定的划分并排显示，其中较粗粒度的划分显示在上下文区域，以帮助理解尺度。
• 使用显式的发散边来编码两个划分中聚类分配的不匹配，从而在视觉上突出显示聚类不一致的数据点。
• 通过悬停提示支持交互式探索，揭示不匹配数据点的身份，例如特定的金融资产。
• 采用混合可视化策略，结合并置、显式编码和聚焦+上下文，以增强对层次结构差异的可解释性。
• 该实现集成在 DataGrapple 平台中，支持通过代码和真实金融时间序列的用例实现可复现研究。

实验结果

研究问题

• RQ1 当对同一数据集的聚类假设不同时，从业者如何有效比较两个从树状图派生的层次聚类？
• RQ2 哪些视觉设计模式最能以直观且可扩展的方式揭示基于划分的两个聚类之间的差异？
• RQ3 在分层并置布局中使用显式边编码，是否能提升对在两个模型中聚类不一致的异常数据点的检测能力？
• RQ4 此类可视化工具在高风险领域（如量化金融）中在多大程度上能支持模型验证，其中相关性与分布的假设至关重要？
• RQ5 HCMapper 在揭示层次聚类之间结构分歧方面，相较于传统方法（如 tanglegrams）有何优势？

主要发现

• HCMapper 有效突出了少数几条分歧边，特别是将仅含相关性的模型中的“America”聚类与相关性加分布模型中的红色聚类相连的一条边，表明可能存在异常值。
• 该分歧边对应于两家美国公司（力拓和AT&T），它们与高质量的欧洲政府债券聚为一类，表明其可能具有流动性不足或厚尾收益分布的特征。
• 可视化结果显示，两个假设之间的大多数聚类呈一一对应关系，表明相关性是价格时间序列聚类的主要决定因素。
• 与 tanglegrams 相比，HCMapper 提供了更直观且更快速识别结构不匹配的途径，如补充材料和图4所示。
• 该工具的时间复杂度为 O(n²log n + V³)，适用于中等规模数据集，但对超大规模数据集或高度复杂的视觉图的可扩展性较低。
• HCMapper 已在 DataGrapple 平台公开提供，附带开源代码和用例，支持金融和生物聚类应用中的可复现研究。