[論文レビュー] Distributed Partial Clustering

Sudipto Guha, Yi Li+1 more|arXiv (Cornell University)|Mar 5, 2017

Data Management and Algorithms参考文献 17被引用数 13

ひとこと要約

本稿は、少数の外れ値（t）を無視することを許容することで、k-center、k-median、k-meansの部分クラスタリングに対する通信効率の高い分散アルゴリズムを提示している。入力サイズに対して非線形通信を達成しており、通信量をO(st)からO(t)に削減するための新規技術を導入している。部分k-medianおよびk-meansに対する最初のサブクアドラティックなアルゴリズムを提供するとともに、確率的分布を持つ不確実なデータクラスタリングのための最初の分散アルゴリズムを提示している。

ABSTRACT

Recent years have witnessed an increasing popularity of algorithm design for distributed data, largely due to the fact that massive datasets are often collected and stored in different locations. In the distributed setting communication typically dominates the query processing time. Thus it becomes crucial to design communication efficient algorithms for queries on distributed data. Simultaneously, it has been widely recognized that partial optimizations, where we are allowed to disregard a small part of the data, provide us significantly better solutions. The motivation for disregarded points often arise from noise and other phenomena that are pervasive in large data scenarios. In this paper we focus on partial clustering problems, $k$-center, $k$-median and $k$-means, in the distributed model, and provide algorithms with communication sublinear of the input size. As a consequence we develop the first algorithms for the partial $k$-median and means objectives that run in subquadratic running time. We also initiate the study of distributed algorithms for clustering uncertain data, where each data point can possibly fall into multiple locations under certain probability distribution.

研究の動機と目的

• 少数の点（t）を無視できる部分クラスタリング問題に対する通信効率の高い分散アルゴリズムの設計。
• 分散コordinatiorモデルにおいて、部分k-center、k-median、k-meansの通信複雑性をO(st)からO(t)に削減すること。
• 分散環境下での部分k-medianおよびk-meansに対する最初のサブクアドラティック時間アルゴリズムの開発。
• 各点が確率的位置分布を持つ不確実なデータの分散クラスタリングに関する研究の開始。
• 通信効率の高いフレームワークの下で、部分クラスタリングと不確実なデータクラスタリングの統一的取り扱いの実現。

提案手法

• 通信量と近似誤差を制限するために、事前クラスタリングと距離閾値処理を用いた2ラウンド分散アルゴリズムを提案。
• 点をグループ化するための階層的クラスタリングアプローチを採用し、閾値τを用いて通信するセンターと外れ値の数を制限。
• 局所解をグローバル解に変換するための確率的丸め技術を適用し、近似保証を維持。
• 最小限の通信オーヘッドで分布的情報を捉えるための不確実なデータ用新規符号化方式を導入。
• ストリーミングアルゴリズムの結果を活用し、(k,t)-centerに対して1ラウンドO(1)-近似アルゴリズムを設計。これをmedianおよびmeansに拡張。
• 距離範囲の二分探索を用いて、高コストな通信を伴わずに最適な閾値τを計算。

実験結果

リサーチクエスチョン

• RQ1 部分k-medianおよびk-meansの分散アルゴリズムを、サブクアドラティック時間かつ入力サイズに対して非線形通信で実行可能に設計できるか？
• RQ2 分散環境下で、部分クラスタリングの通信複雑性をO(st)からO(t)に削減できるか？
• RQ3 通信量を最小限に抑えつつ近似品質を保ちながら、不確実なデータを効率的に分散クラスタリングで処理できるか？
• RQ4 部分クラスタリングと不確実なデータクラスタリングを、1つの分散フレームワークで統一的に扱うことは可能か？
• RQ5 2回の通信ラウンドと最小限の局所計算で、部分クラスタリングに対して定数近似を得ることは可能か？

主な発見

• 本稿は、分散モデルにおける部分k-medianおよびk-meansに対する最初のサブクアドラティック時間アルゴリズムを提示しており、従来のO(n²)の上限を著しく改善している。
• 部分k-center、k-median、k-meansにおいて、通信複雑性がO(st)からO(t)に削減され、入力サイズに対して非線形通信が達成された。
• 不確実なデータに対しては、2ラウンドでO(1+1/ε)-近似が達成され、通信コストはO(s(kB + tI)logΔ + s/δ + skB)である。ここでIはノードの符号化サイズである。
• (k,t)-center-gのためのアルゴリズムは、2ラウンドでO(1+1/ε)-近似を達成し、通信コストがO(s(kB + tI)logΔ)である。これは先行研究を上回る。
• 各サイトの実行時間はO((k+t)ni logΔ)、コordinatiorの実行時間はO((sk+t)²)であり、典型的なパrameter設定下では両者とも入力サイズに対してサブクアドラティックである。
• このフレームワークは外れ値耐性と不確実なデータモデリングの両方をサポートしており、分散システムにおける現実のノイズ混じりで確率的なデータに適している。