[论文解读] Clustering Permutations: New Techniques with Streaming Applications

Diptarka Chakraborty, Debarati Das+1 more|arXiv (Cornell University)|Dec 4, 2022

HIV, Drug Use, Sexual Risk被引用 1

一句话总结

本文提出了一种新颖的算法框架，用于在乌拉姆度量下对排列进行聚类，针对 k-中位数问题实现了 1.999-近似解，时间复杂度为 (k log(nd))O(k)nd³。该方法支持流式处理，空间使用为多对数级别，并可扩展至抗异常值的变体，通过共锥构造和采样技术突破了长期存在的 2-近似瓶颈。

ABSTRACT

We study the classical metric $k$-median clustering problem over a set of input rankings (i.e., permutations), which has myriad applications, from social-choice theory to web search and databases. A folklore algorithm provides a $2$-approximate solution in polynomial time for all $k=O(1)$, and works irrespective of the underlying distance measure, so long it is a metric; however, going below the $2$-factor is a notorious challenge. We consider the Ulam distance, a variant of the well-known edit-distance metric, where strings are restricted to be permutations. For this metric, Chakraborty, Das, and Krauthgamer [SODA, 2021] provided a $(2-δ)$-approximation algorithm for $k=1$, where $δ\approx 2^{-40}$. Our primary contribution is a new algorithmic framework for clustering a set of permutations. Our first result is a $1.999$-approximation algorithm for the metric $k$-median problem under the Ulam metric, that runs in time $(k \log (nd))^{O(k)}n d^3$ for an input consisting of $n$ permutations over $[d]$. In fact, our framework is powerful enough to extend this result to the streaming model (where the $n$ input permutations arrive one by one) using only polylogarithmic (in $n$) space. Additionally, we show that similar results can be obtained even in the presence of outliers, which is presumably a more difficult problem.

研究动机与目标

• 本文旨在突破在乌拉姆距离下排列上度量 k-中位数问题的 2-近似瓶颈。
• 旨在设计一种在流式模型中运行且使用次线性空间的高效算法。
• 目标包括处理聚类框架中的异常值，这比标准问题更具挑战性。
• 该工作将先前针对 k=1 的结果推广至一般 k，提供可扩展且近似的解决方案。
• 旨在在保持时间与空间实际效率的同时，为近似质量提供理论保证。

提出的方法

• 该框架使用 (k, λ)-共锥构造来总结输入排列，从而在保持近似质量的同时减小问题规模。
• 它对输入排列进行均匀采样，并利用 MedianReconstruct 算法从采样的 5 元组中构建代表性集合 M′。
• 该算法利用 MFS（最小频率采样）技术，高效地从候选中位数中采样，从而降低空间复杂度。
• 采用两阶段方法：首先对输入排列进行采样，然后为潜在中位数的隐式集合构建共锥。
• 共锥 (P, w) 通过流式方式构建，使用 O(ǫ⁻² log²n) 个排列，从而实现空间高效的处理。
• 通过评估共锥加权距离至 M′ 中所有候选，选择总距离最小的中位数，完成近似中位数选择。

实验结果

研究问题

• RQ1 能否在乌拉姆度量下对排列的 k-中位数问题实现 1.999-近似解，从而突破 2-近似瓶颈？
• RQ2 能否设计一种仅使用输入规模的多对数空间的流式算法用于排列聚类？
• RQ3 该框架如何扩展以处理聚类设置中的异常值？
• RQ4 该共锥方法能否在流式模型中同时保持时间和空间效率？
• RQ5 在该框架中，结合采样、共锥构造和候选评估后，理论近似保证是什么？

主要发现

• 本文在乌拉姆度量下对排列的 k-中位数问题实现了 1.999-近似解，优于传统的 2-近似。
• 该算法的时间复杂度为 (k log(nd))O(k)nd³，对于小 k 值而言是多项式且高效的。
• 该框架支持流式模型，空间使用为 O(d log d log²n) 位，远低于输入大小 O(nd log d)。
• 该方法可扩展至抗异常值的聚类设置，同时保持相同的近似因子。
• 共锥构造确保总目标值在真实值的 (1 + λ) 因子之内，其中 λ = 10⁻⁷。
• 理论分析确认，在给定的采样与共锥参数下，该算法以高概率实现总目标值不超过 1.9999995 × OPT。