[論文レビュー] Graph sketching-based Massive Data Clustering.

Anne Morvan, Krzysztof Choromański+2 more|arXiv (Cornell University)|Mar 7, 2017

Advanced Clustering Algorithms Research参考文献 25被引用数 5

ひとこと要約

本稿では、スケッチされた類似度グラフの最小全域木（MST）をストリーミング形式で近似することで、任意の形状のクラスタを大規模データセットから回復する、パラメータフリーのグラフスケッチベースのクラスタリング手法DBMSTCluを提案する。この手法は、クラスタ数や形状に関する事前知識が不要であり、O(N polylog(N))のメモリで正確なクラスタリングを達成し、クラスタリング品質に関する理論的保証を提供する。

ABSTRACT

In this paper, we address the problem of recovering arbitrary-shaped data clusters from massive datasets. We present DBMSTClu a new density-based non-parametric method working on a limited number of linear measurements i.e. a sketched version of the similarity graph $G$ between the $N$ objects to cluster. Unlike $k$-means, $k$-medians or $k$-medoids algorithms, it does not fail at distinguishing clusters with particular structures. No input parameter is needed contrarily to DBSCAN or the Spectral Clustering method. DBMSTClu as a graph-based technique relies on the similarity graph $G$ which costs theoretically $O(N^2)$ in memory. However, our algorithm follows the dynamic semi-streaming model by handling $G$ as a stream of edge weight updates and sketches it in one pass over the data into a compact structure requiring $O(N \operatorname{poly} \operatorname{log} (N))$ space. Thanks to the property of the Minimum Spanning Tree (MST) for expressing the underlying structure of a graph, our algorithm successfully detects the right number of non-convex clusters by recovering an approximate MST from the graph sketch of $G$. We provide theoretical guarantees on the quality of the clustering partition and also demonstrate its advantage over the existing state-of-the-art on several datasets.

研究の動機と目的

• 従来の手法（k-means や DBSCAN など）が失敗する可能性がある、任意の形状のクラスタを有する大規模データセットのクラスタリングという課題に対処すること。
• DBSCAN やスペクトルクラスタリングで必要とされる、クラスタ数や距離閾値といった入力パラメータの必要性を排除すること。
• 動的半ストリーミングモデルにおいて、完全な類似度グラフをコンパクトなスケッチで表現することで、大規模データの効率的な処理を可能にすること。
• 最小全域木（MST）の構造的性質を活用して、非凸データにおける内在的なクラスタ境界を特定すること。
• スケッチフレームワーク下でのクラスタリング分割の品質に関する理論的保証を提供すること。

提案手法

• 本手法は、動的半ストリーミングを用いてデータを1回スキャンするだけで構築される類似度グラフGのスケッチ上で動作し、メモリをO(N²)からO(N polylog(N))に削減する。
• グラフスケッチ技術を用いて、完全な類似度グラフのコンパクトな表現を維持することで、大規模データセットの効率的な保存および処理を可能にする。
• アルゴリズムは、スケッチされたグラフから近似MSTを回復し、MSTがデータの内在するクラスタ構造を反映できることを活用する。
• クラスタ境界は、主にエッジの重みの閾値と接続成分の構造を分析することで特定される。
• 本手法は非パrametricかつ密度ベースであるため、クラスタ数や密度パrameterに関する事前知識が不要であり、任意形状のクラスタを検出可能である。
• 理論的解析により、スケッチ近似下でもクラスタリング分割の品質が保たれ、正しさと安定性に関する保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーなクラスタリング手法は、クラスタ数や密度閾値に関する事前知識がなくとも、大規模データセットにおける非凸クラスタを効果的に検出できるか？
• RQ2 完全な類似度グラフのスケッチは、特にMSTに必要な構造的性質をどれだけ正確に保持できるか？
• RQ3 動的半ストリーミングモデルは、大規模類似度グラフのコンパクトで正確な表現を維持するのにどの程度活用可能か？
• RQ4 スケッチされたグラフの最小全域木（MST）は、複雑で任意形状のデータにおいて、真の内在クラスタ構造を信頼性高く明らかにできるか？
• RQ5 グラフスケッチとMST近似を用いた場合、クラスタリング分割の品質に関する理論的保証はどの程度得られるか？

主な発見

• DBMSTCluは、k や ε といった入力パラメータを一切必要とせず、非凸クラスタの正しい数を検出することができた。これは、DBSCAN や k-means とは対照的である。
• 複数のベンチマークデータセットにおいて、状態アートの手法と同等またはそれ以上のクラスタリング品質を達成したが、使用メモリはO(N polylog(N))に留まった。
• スケッチ処理により、元の類似度グラフから十分な構造的情報を保持でき、その結果として正確なMST近似が可能となり、正確なクラスタ検出が実現された。
• 理論的解析により、スケッチされたMSTから導かれるクラスタリング分割が、真の内在クラスタ構造と高い忠実度を保っていることが確認された。
• 類似度グラフをストリームとして処理するため、本アルゴリズムは大規模データセットに対して効率的にスケーリング可能であり、制限されたメモリ環境における実世界応用に適している。