[論文レビュー] Communication-Optimal Distributed Clustering

Jiecao Chen, He Sun+2 more|arXiv (Cornell University)|Feb 1, 2017

Advanced Clustering Algorithms Research被引用数 20

ひとこと要約

本稿では、ポイントツーポイント（メッセージパッシング）およびブロードキャスト（ブラックボード）の2つのモデルにおいて、グラフクラスタリングおよび幾何クラスタリングのための通信最適化分散クラスタリングアルゴリズムを提示する。スペクトルスパーシフィケーションと分散固有システム計算を用いることで、前者ではÕ(ns)、後者ではÕ(n+s)というほぼ最適な通信複雑度を達成し、クラスタリング品質の損失を最小限に抑えつつ、実用的効率性と理論的最適性を示している。

ABSTRACT

Clustering large datasets is a fundamental problem with a number of applications in machine learning. Data is often collected on different sites and clustering needs to be performed in a distributed manner with low communication. We would like the quality of the clustering in the distributed setting to match that in the centralized setting for which all the data resides on a single site. In this work, we study both graph and geometric clustering problems in two distributed models: (1) a point-to-point model, and (2) a model with a broadcast channel. We give protocols in both models which we show are nearly optimal by proving almost matching communication lower bounds. Our work highlights the surprising power of a broadcast channel for clustering problems; roughly speaking, to spectrally cluster $n$ points or $n$ vertices in a graph distributed across $s$ servers, for a worst-case partitioning the communication complexity in a point-to-point model is $n \cdot s$, while in the broadcast model it is $n + s$. A similar phenomenon holds for the geometric setting as well. We implement our algorithms and demonstrate this phenomenon on real life datasets, showing that our algorithms are also very efficient in practice.

研究の動機と目的

• 通信を最小限に抑えて、複数のサイトに分散された大規模データセットのクラスタリングを実現する課題に対処する。
• 集中型クラスタリングと同等の品質を達成しながら通信オーバーヘッドを最小限に抑える分散クラスタリングアルゴリズムを開発する。
• メッセージパッシングとブラックボード（ブロードキャスト）の2つの異なる分散モデルにおける通信複雑度を分析・最適化する。
• ブロードキャストチャネルが、特に大規模データに対して、ポイントツーポイントモデルと比較して通信コストを顕著に削減できることを示す。
• 実世界のデータセットを用いた実験により理論的境界を検証し、高いクラスタリング品質と低い通信コストの両立を示す。

提案手法

• 各サイトでローカルデータをスペクトルスパーシフィケーションにより圧縮し、通信フットプリントを削減しながら重要なスペクトル的性質を保持する。
• メッセージパッシングモデルでは、各サイトが自身のローカルデータのスペクトルスパーシファイアをコーディネータに送信し、コーディネータがそれらを統合してグローバルスパーシファイアを構築する。
• ブラックボードモデルでは、全サイトがエッジを共同でサンプリングし、固定回数のイテレーションを経てチェーンベースのサンプリングプロセスを用いてグローバルスパーシファイアを共同で構築する。
• グローバルスパース化ラプラシアン行列の下位k固有ベクトルから得られる埋め込み点に対してk-meansクラスタリングを適用する。
• ブラックボードモデルの特性を活用し、1つのメッセージを全サイトにブロードキャストすることで、通信量をO(ns)からO(n+s)に削減する。
• ブラックボードモデルでチェーンベースのサンプリング戦略を用い、反復的にスパーシファイアを精緻化することで、高品質な近似への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 集中型手法と同等のクラスタリング品質を達成しながら通信量を最小限に抑える分散クラスタリングアルゴリズムを設計可能か？
• RQ2 ブロードキャストチャネルの存在が、ポイントツーポイント通信と比較して、分散クラスタリングにおける通信複雑度に与える影響は何か？
• RQ3 分散スペクトルクラスタリングにおける通信コストの理論的下界は何か？ そして、我々のプロトコルはその下界にほぼ達しているか？
• RQ4 サイト数とサンプリングパラメータの変化が、両モデルにおけるクラスタリング品質と通信コストに与える影響は何か？
• RQ5 提案されたアルゴリズムは、数十億のエッジを含む実世界のデータセットにおいて、実用的に効率的にスケーリング可能か？

主な発見

• メッセージパッシングモデルでは通信コストがÕ(ns)に達し、サイト数sに比例して増加する一方、ブラックボードモデルではÕ(n+s)に抑えられ、sが大きい場合には顕著な削減が実現する。
• ブラックボードモデルでは、最悪ケースにおいて通信コストがs倍に削減され、分散クラスタリングにおけるブロードキャストの驚くべき効果を示している。
• 正規化カット（ncut）で測定したクラスタリング品質は、ベースライン、メッセージパッシング、ブラックボードアルゴリズムの間でほぼ同一であり、ncut値としてはメッセージパッシングはsの増加に伴いわずかに低下するが、ブラックボードは安定している。
• 実験では、両方のアルゴリズムがベースラインと比較して通信コストを1〜2桁削減した。特にブラックボードはsに依存せず低コストを維持した。
• ブラックボードアルゴリズムの性能は、サンプリングパラメータの変更に対して頑健である。1サイトあたりのサンプルエッジ数やイテレーション回数を増やすとncut値が改善するが、閾値を超えると顕著な改善が得られる。
• メッセージパッシングモデルでは、1サイトあたり少なくとも5nのエッジをサンプリングすることが、無効なスパーシファイアを避けるために必要である。c ≥ 3かつs ≥ 1の条件下で、ncut値はベースライン水準に収束する。