[论文解读] Bisect and Conquer: Hierarchical Clustering via Max-Uncut Bisection

Sara Ahmadian, Vaggos Chatziafratis+5 more|arXiv (Cornell University)|Dec 15, 2019

Advanced Clustering Algorithms Research参考文献 37被引用 4

一句话总结

本文提出了一种新颖的分层聚类算法，结合最大未切割二等分法（Max-Uncut Bisection）与平均联接法（Average-Linkage），在 Dasgupta 目标函数的极大化对偶问题上实现了 0.4246 的近似比，显著优于此前最佳的 0.3363。该方法将最大未切割二等分法作为黑箱子程序使用，既保证了理论性能，又支持实际部署，且性能随二等分子程序质量的下降而平滑退化。

ABSTRACT

Hierarchical Clustering is an unsupervised data analysis method which has been widely used for decades. Despite its popularity, it had an underdeveloped analytical foundation and to address this, Dasgupta recently introduced an optimization viewpoint of hierarchical clustering with pairwise similarity information that spurred a line of work shedding light on old algorithms (e.g., Average-Linkage), but also designing new algorithms. Here, for the maximization dual of Dasgupta's objective (introduced by Moseley-Wang), we present polynomial-time .4246 approximation algorithms that use Max-Uncut Bisection as a subroutine. The previous best worst-case approximation factor in polynomial time was .336, improving only slightly over Average-Linkage which achieves 1/3. Finally, we complement our positive results by providing APX-hardness (even for 0-1 similarities), under the Small Set Expansion hypothesis.

研究动机与目标

• 为分层聚类缺乏强有力的分析基础的问题提供解决方案，基于 Dasgupta 的目标函数及其极大化对偶形式。
• 在先前通过半定规划实现的 0.3363 最坏情况近似比基础上，进一步提升分层聚类的最坏情况近似比。
• 开发一种实用且可分析的算法，利用现有的最大未切割二等分法求解器作为黑箱子程序。
• 在小集合扩张假设下建立该问题的 APX-难解性，提供近似性能的理论极限。
• 证明将最大未切割二等分法与平均联接法结合，相较于以往基于凸松弛的方法，能获得更优的性能表现。

提出的方法

• 该算法使用最大未切割二等分法将数据在树状图根节点处划分为两个平衡子集。
• 对每个子集递归应用平均联接法构建子树，确保所有层级均保持分层聚类结构。
• 通过基于最近共同祖先的分解方式，将边的贡献划分为子树内与子树间两部分，以分析目标函数值。
• 关键技术环节是推导出二等分中未切割边的期望权重的下界，其参数化于被切割边的比例。
• 通过将二等分子程序的性能（因子 ρ ≈ 0.8776）与整体分层聚类目标函数关联，推导出近似比。
• 分析表明，该算法的近似因子会随最大未切割二等分子程序质量的下降而平滑退化。

实验结果

研究问题

• RQ1 能否设计一种分层聚类算法，使其在 Dasgupta 目标函数的极大化对偶问题上，获得优于此前最佳 0.3363 的最坏情况近似比？
• RQ2 最大未切割二等分法能否在分层聚类框架中作为子程序有效使用，以获得强理论保证？
• RQ3 将最大未切割二等分法与平均联接法结合，是否能产生比以往基于半定规划的方法更实用、更可分析的算法？
• RQ4 在小集合扩张假设下，该问题的最佳可能近似比是多少？该问题是否为 APX-难解？
• RQ5 当最大未切割二等分子程序的近似质量下降时，该算法的近似因子如何变化？

主要发现

• 所提出的算法在 Dasgupta 分层聚类目标函数的极大化对偶问题上，实现了 0.4246 的近似比，显著优于此前最佳的 0.3363。
• 该算法将最大未切割二等分法作为黑箱子程序使用，其近似比随该子程序质量的下降而平滑退化。
• 分析表明，即使使用最优二等分（ρ = 1），所能达到的最佳近似比也仅为 4/9 ≈ 0.444，表明当前的界限已接近最优。
• 本文在小集合扩张假设下建立了该问题的 APX-难解性，即使对于 0-1 相似度矩阵也成立，表明其近似性能存在强烈的理论限制。
• 该方法在理论上严谨且可实际部署，因为高质量的最大未切割二等分法求解器在文献中已有广泛实现。
• 与依赖复杂半定规划松弛的先前方法相比，该算法性能更优，且框架更简洁、更易解释。