[论文解读] FISHDBC: Flexible, Incremental, Scalable, Hierarchical Density-Based Clustering for Arbitrary Data and Distance

Matteo Dell’Amico|arXiv (Cornell University)|Oct 16, 2019

Advanced Clustering Algorithms Research参考文献 30被引用 7

一句话总结

FISHDBC 是一种灵活、增量式、可扩展且分层的基于密度的聚类算法，支持任意数据类型和用户自定义的距离函数，无需特征提取。它通过使用动态生成树和基于 HNSW 的近似最近邻搜索实现可扩展性，在高维和内存受限的场景下优于 HDBSCAN*，同时保持了具有竞争力的聚类质量，并支持分层探索。

ABSTRACT

FISHDBC is a flexible, incremental, scalable, and hierarchical density-based clustering algorithm. It is flexible because it empowers users to work on arbitrary data, skipping the feature extraction step that usually transforms raw data in numeric arrays letting users define an arbitrary distance function instead. It is incremental and scalable: it avoids the $\mathcal O(n^2)$ performance of other approaches in non-metric spaces and requires only lightweight computation to update the clustering when few items are added. It is hierarchical: it produces a "flat" clustering which can be expanded to a tree structure, so that users can group and/or divide clusters in sub- or super-clusters when data exploration requires so. It is density-based and approximates HDBSCAN*, an evolution of DBSCAN.

研究动机与目标

• 解决现有聚类算法在需要数值特征、固定距离度量或在非度量空间中面临 O(n²) 复杂度时的局限性。
• 支持流数据的增量聚类，且在数据更新时计算开销较低。
• 支持分层聚类结构，使用户能够以多种粒度探索聚类。
• 在扩展至数百万数据项并处理高维或稀疏数据时，保持高聚类质量。
• 提供一个灵活的框架，使领域专家能够定义复杂且非度量的距离函数，且不带来性能损失。

提出的方法

• FISHDBC 使用生成树数据结构来维护数据点之间的连通性，从而实现高效的邻居发现和增量更新。
• 它采用分层可导航小世界（HNSW）图进行近似最近邻搜索，降低邻居计算成本。
• 该算法将邻居发现与模型维护分离，简化了实现，并支持高效的增量更新。
• 聚类通过逐步扩展生成树并基于 HNSW 的邻域计算局部密度估计来构建。
• 通过基于密度阈值递归合并或拆分聚类，从平面聚类中推导出分层聚类结构。
• 该方法通过高效索引避免 O(n²) 复杂度，近似 HDBSCAN* 的能力，以检测不同密度的聚类并过滤噪声。

实验结果

研究问题

• RQ1 聚类算法是否能在不进行特征提取的前提下，对任意非度量距离函数实现 O(n log n) 的可扩展性？
• RQ2 当新数据以流式方式到达时，增量聚类的性能与批处理方法相比如何？
• RQ3 在不牺牲聚类质量的前提下，分层聚类结构在多大程度上可以被高效构建和探索？
• RQ4 在高维或稀疏数据中，通用的近似最近邻搜索是否优于专用的加速索引？
• RQ5 FISHDBC 中的正则化效应是否导致比 HDBSCAN* 更鲁棒或更简洁的聚类结果？

主要发现

• FISHDBC 可扩展至包含数百万项的数据集，在高维密集数据集（如 Blobs）上运行时间显著低于 HDBSCAN*。
• 在 DW-NYTimes 数据集上，FISHDBC 成功完成聚类，而 HDBSCAN* 因内存不足错误而失败，表明其具有更优的内存效率。
• 在欧氏距离和余弦距离下，FISHDBC 在内部指标（AMI*、ARI*）上与 HDBSCAN* 的聚类质量相当，标准差分别为 0.01 和 0.00。
• 在 Household 数据集上，FISHDBC 仅比加速版 HDBSCAN* 略慢，但产生的聚类更少，可能更适合探索性分析中的数据摘要。
• FISHDBC 的分层输出确保几乎所有数据点都被分配到聚类中，即使平面聚类将许多点标记为噪声，从而增强了数据探索能力。
• 在高维设置中，由于 HNSW 对维度灾难具有鲁棒性，FISHDBC 表现优于 HDBSCAN*，而传统索引结构在此类场景下性能会退化。