[論文レビュー] Clustering Permutations: New Techniques with Streaming Applications

Diptarka Chakraborty, Debarati Das+1 more|arXiv (Cornell University)|Dec 4, 2022

HIV, Drug Use, Sexual Risk被引用数 1

ひとこと要約

本稿は、Ulam距離に基づく順列のクラスタリングのための新規なアルゴリズム的枠組みを提示し、時間 (k log(nd))O(k)nd³ において k-メディアン問題に対して 1.999-近似を達成する。このアプローチによりストリーミング環境での実装が可能となり、多項式対数的空間を用いる。また、外れ値に強い変種へと拡張可能であり、コアセット構築とサンプリング技術を用いて長年にわたり続く 2-近似の壁を破る。

ABSTRACT

We study the classical metric $k$-median clustering problem over a set of input rankings (i.e., permutations), which has myriad applications, from social-choice theory to web search and databases. A folklore algorithm provides a $2$-approximate solution in polynomial time for all $k=O(1)$, and works irrespective of the underlying distance measure, so long it is a metric; however, going below the $2$-factor is a notorious challenge. We consider the Ulam distance, a variant of the well-known edit-distance metric, where strings are restricted to be permutations. For this metric, Chakraborty, Das, and Krauthgamer [SODA, 2021] provided a $(2-δ)$-approximation algorithm for $k=1$, where $δ\approx 2^{-40}$. Our primary contribution is a new algorithmic framework for clustering a set of permutations. Our first result is a $1.999$-approximation algorithm for the metric $k$-median problem under the Ulam metric, that runs in time $(k \log (nd))^{O(k)}n d^3$ for an input consisting of $n$ permutations over $[d]$. In fact, our framework is powerful enough to extend this result to the streaming model (where the $n$ input permutations arrive one by one) using only polylogarithmic (in $n$) space. Additionally, we show that similar results can be obtained even in the presence of outliers, which is presumably a more difficult problem.

研究の動機と目的

• 本稿の目的は、Ulam距離に基づく順列上でのメトリック k-メディアン問題に対して、2-近似の壁を破ることである。
• 入力サイズに対して部分線形空間を用いるストリーミングモデルで動作する効率的なアルゴリズムの設計を求める。
• 標準的な問題よりも難しい、クラスタリング枠組みにおける外れ値の取り扱いを含む。
• k=1 における先行研究を一般化し、スケーラブルかつ近似可能な解を提供すること。
• 時間的・空間的効率を維持しつつ、近似品質に関する理論的保証を提供すること。

提案手法

• 入力順列を要約するため、(k, λ)-コアセット構築を用いて問題のサイズを縮小しつつ近似品質を保持する。
• 入力順列の均等サンプリングを行い、MedianReconstructアルゴリズムを用いてサンプルされた 5-タプルから代表的集合 M′ を構築する。
• MFS（最小周波数サンプリング）技術を活用し、候補となるメディアンから効率的にサンプリングすることで、空間計算量を削減する。
• 2段階のアプローチを採用する：まず入力順列をサンプリングし、次に潜在的メディアンの集合に対してコアセットを構築する。
• コアセット (P, w) は、O(ǫ⁻² log²n) 個の順列を用いてストリーミング形式で構築され、空間効率的な処理を可能にする。
• コアセット加重距離をすべての候補 M′ に対して評価し、合計距離が最小となるものを近似メディアンとして選択する。

実験結果

リサーチクエスチョン

• RQ1 Ulam距離に基づく順列上での k-メディアン問題に対して、1.999-近似を達成することは可能か？ 2-近似の壁を破ることができるか？
• RQ2 入力サイズに対して多項式対数的空間しか使用しないストリーミングアルゴリズムを設計することは可能か？
• RQ3 この枠組みを外れ値を含むクラスタリング設定に拡張することは可能か？
• RQ4 コアセットベースのアプローチを、ストリーミングモデルにおいて時間的・空間的効率を維持できるように適応可能か？
• RQ5 この枠組みにおいて、サンプリング、コアセット構築、および候補評価を組み合わせた際の理論的近似保証は何か？

主な発見

• 本稿は、Ulam距離に基づく順列上での k-メディアン問題に対して 1.999-近似を達成し、古くからの 2-近似の常識を改善した。
• アルゴリズムの実行時間は (k log(nd))O(k)nd³ であり、k が小さい場合には多項式的かつ効率的である。
• ストリーミングモデルをサポートし、O(d log d log²n) ビットの空間を要する。これは入力サイズ O(nd log d) よりも著しく小さい。
• 外れ値に強いクラスタリング設定へも拡張可能であり、同じ近似因子を維持する。
• コアセット構築により、合計目的値が真の値の (1 + λ)-倍以内（λ = 10⁻⁷）に保証される。
• 理論的解析により、サンプリングおよびコアセットパラメータが与えられた場合、高確率で合計目的値が 1.9999995 × OPT 未満であることが確認された。