[论文解读] Fast hierarchical clustering and other applications of dynamic closest pairs
本文提出了适用于任意距离函数的动态最近邻对数据结构，通过使用 O(n) 空间实现每次插入/删除操作的摊销 O(n log n) 时间复杂度，或通过类似四叉树的结构使用 O(n²) 空间实现最优的 O(n) 时间复杂度。该方法加速了层次聚类、贪心匹配和 TSP 启发式算法，在实践中优于以往的启发式方法。
We develop data structures for dynamic closest pair problems with arbitrary (not necessarily geometric) distance functions, based on a technique previously used by the author for Euclidean closest pairs. We show how to insert and delete objects from an n-object set, maintaining the closest pair, in O(n log n) time per update and O(n) space. With quadratic space, we can instead use a quadtree-like structure to achieve an optimal time bound, O(n) per update. We apply these data structures to hierarchical clustering, greedy matching, and TSP heuristics, and discuss other potential applications in machine learning, Grobner bases, and local improvement algorithms for partition and placement problems. Experiments show our new methods to be faster in practice than previously used heuristics.
研究动机与目标
- 开发高效的动态最近邻对数据结构，支持在任意距离函数下进行插入和删除操作，同时保持最近邻对的维护。
- 通过类似四叉树的结构使用二次方空间，实现最优的更新时间界限——每次更新 O(n) 时间。
- 将动态最近邻对框架应用于层次聚类、贪心匹配和 TSP 启发式算法，提升实际性能。
- 探索其在机器学习、Grobner 基计算以及分区与布局问题的局部优化算法中的更广泛应用。
提出的方法
- 利用此前仅适用于欧几里得距离的动态最近邻对技术，将其推广至任意距离函数。
- 采用一种动态维护最近邻对的数据结构，支持在 O(n) 空间下实现每次插入或删除操作的 O(n log n) 时间复杂度。
- 通过类似四叉树的分层分解结构，在使用 O(n²) 空间时实现每次操作 O(n) 的更新时间。
- 通过逐步合并最近邻对的方式，将动态最近邻对结构应用于层次聚类。
- 通过在构造过程中持续维护和更新最近邻对，将该框架扩展至贪心匹配和 TSP 启发式算法。
- 设计一个通用接口，用于动态最近邻对，使其可在多种算法应用中复用。
实验结果
研究问题
- RQ1动态最近邻对数据结构能否超越几何距离，推广至任意距离函数？
- RQ2在有限空间下，动态最近邻对更新的最优时间复杂度是多少？
- RQ3如何利用动态最近邻对数据结构加速层次聚类及其他 NP-难启发式问题？
- RQ4该框架能否应用于机器学习和代数计算任务（如 Grobner 基）？
- RQ5与现有启发式方法相比，新方法在实践中实现了多大的性能提升？
主要发现
- 所提出的方法在 O(n) 空间下实现了每次插入或删除操作的 O(n log n) 摊销时间复杂度，显著优于以往方法。
- 当使用 O(n²) 空间时，该方法实现了最优的 O(n) 每次更新时间，与理论下界一致。
- 动态最近邻对框架显著加速了层次聚类、贪心匹配和 TSP 启发式算法，超越了以往的启发式方法。
- 实验结果表明，新算法在实际应用中比以往使用的启发式方法更快。
- 该框架可扩展至多种领域，包括机器学习、Grobner 基计算以及局部优化算法。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。