[论文解读] Hierarchical Clustering via Sketches and Hierarchical Correlation Clustering

Danny Vainstein, Vaggos Chatziafratis+4 more|arXiv (Cornell University)|Jan 26, 2021

Advanced Clustering Algorithms Research被引用 5

一句话总结

该论文提出了结构化引理，表明当所有权重不全为小时，具有常数大小的草图的层次聚类树可以以任意接近最优解的方式近似拟合收益（Revenue）和不相似度（Dissimilarity）目标。该方法实现了针对这些目标的高效多项式时间随机近似方案（Efficient-PRAS），并提出了层次相关聚类（Hierarchical Correlation Clustering, HCC），其近似比为0.4767，并为互补相似度/不相似度实例提供了高效PRAS。

ABSTRACT

Recently, Hierarchical Clustering (HC) has been considered through the lens of optimization. In particular, two maximization objectives have been defined. Moseley and Wang defined the \\emph{Revenue} objective to handle similarity information given by a weighted graph on the data points (w.l.o.g., $[0,1]$ weights), while Cohen-Addad et al. defined the \\emph{Dissimilarity} objective to handle dissimilarity information. In this paper, we prove structural lemmas for both objectives allowing us to convert any HC tree to a tree with constant number of internal nodes while incurring an arbitrarily small loss in each objective. Although the best-known approximations are 0.585 and 0.667 respectively, using our lemmas we obtain approximations arbitrarily close to 1, if not all weights are small (i.e., there exist constants $\\epsilon, \\delta$ such that the fraction of weights smaller than $\\delta$, is at most $1 - \\epsilon$); such instances encompass many metric-based similarity instances, thereby improving upon prior work. Finally, we introduce Hierarchical Correlation Clustering (HCC) to handle instances that contain similarity and dissimilarity information simultaneously. For HCC, we provide an approximation of 0.4767 and for complementary similarity/dissimilarity weights (analogous to $+/-$ correlation clustering), we again present nearly-optimal approximations.

研究动机与目标

• 解决现有层次聚类（HC）近似算法的局限性，即其近似比与最优解存在固定差距（例如0.585和0.667）。
• 识别一类广泛存在的HC实例，使得近似比可被无限逼近于1，从而克服问题固有的APX难解性。
• 通过引入层次相关聚类（HCC）统一HC中的相似度与不相似度信息。
• 为HCC提供高效的近似方案，尤其针对互补相似度/不相似度（±）权重的实例。
• 证明度量相似度实例和具有有界最小相似度的高斯核实例均属于可实现近乎最优近似的实例类别。

提出的方法

• 引入树的草图（即移除所有叶节点后的树）概念，并证明常数大小的草图足以近似最优HC树的收益和不相似度目标。
• 利用Goldreich等人（1998）关于最大未切割二等分问题（Max-Uncut Bisection）的开创性工作，设计在非所有权重都小时的实例的近似算法。
• 提出一种混合算法，结合最大未切割二等分与贪心划分，实现HCC的0.4767近似比。
• 设计一种并行算法（ALG±），同时运行两个子程序并返回最优HCC树，从而实现HCC±目标的高效PRAS。
• 利用结构引理，界定将任意HC树替换为草图大小为常数的树时的损失，从而实现对有限候选树集合的高效搜索。
• 将Alon等人（2020）提出的0.8776近似比的Max-Uncut Bisection算法作为近似框架的关键组件。

实验结果

研究问题

• RQ1 我们能否在收益和不相似度目标下，使层次聚类的近似比无限逼近于1，突破已知的0.585和0.667界限？
• RQ2 是否存在自然的HC实例类别，使得问题固有的APX难解性不会阻碍近乎最优的近似？
• RQ3 我们能否通过引入新目标，统一层次聚类中的相似度与不相似度信息？若能，可获得何种近似保证？
• RQ4 HCC目标是否具有高效PRAS，尤其针对具有互补相似度/不相似度权重的实例？
• RQ5 度量相似度实例和具有有界最小相似度的高斯核实例是否属于可实现近乎最优近似的实例类别？

主要发现

• 对于收益和不相似度目标，本文证明：任意HC树均可被替换为具有常数大小草图的树，且目标值损失可任意小。
• 当非所有权重都小时（即至少δ > 0的权重占常数比例），本文为收益和不相似度目标实现了高效PRAS。
• 该方法优于先前近似结果：对于δ = Ω(1)的高斯核实例，近似比从(1+δ)/3提升至无限接近最优。
• 本文提出了层次相关聚类（HCC），可同时处理相似度与不相似度信息，并提供0.4767的最坏情况近似比。
• 为HCC±目标（互补相似度/不相似度）实现了高效PRAS，表明该问题虽为NP完全，但仍可在任意期望精度下高效近似。
• 该框架适用于度量相似度实例，解决了低维设置下良好近似是否可实现的开放问题。