[論文レビュー] Micro-Clustering: Finding Small Clusters in Large Diversity

Takeaki Uno, Hiroki Maegawa+4 more|arXiv (Cornell University)|Jul 11, 2015

Advanced Clustering Algorithms Research参考文献 12被引用数 11

ひとこと要約

本稿では、大規模で多様なデータセットにおける小さな、密着したグループを特定するため、データの磨き上げを用いたマイクロクラスタリングを提案する。類似度グラフをk共通近傍条件に基づくエッジ補正によって変換することで（密集した部分グラフをクリークに置き換え、疎なエッジを削除）、曇りを減らし、意味のある非冗長なマイクロクラスタを、スケーラビリティと高い結束性を備えて、大規模データ上で数分で効率的に列挙可能にする。

ABSTRACT

We address the problem of un-supervised soft-clustering called micro-clustering. The aim of the problem is to enumerate all groups composed of records strongly related to each other, while standard clustering methods separate records at sparse parts. The problem formulation of micro-clustering is non-trivial. Clique mining in a similarity graph is a typical approach, but it results in a huge number of cliques that are of many similar cliques. We propose a new concept data polishing. The cause of huge solutions can be considered that the groups are not clear in the data, that is, the boundaries of the groups are not clear, because of noise, uncertainty, lie, lack, etc. Data polishing clarifies the groups by perturbating the data. Specifically, dense subgraphs that would correspond to clusters are replaced by cliques. The clusters are clarified as maximal cliques, thus the number of maximal cliques will be drastically reduced. We also propose an efficient algorithm applicable even for large scale data. Computational experiments showed the efficiency of our algorithm, i.e., the number of solutions is small, (e.g., 1,000), the members of each group are deeply related, and the computation time is short.

研究の動機と目的

• 標準的なクラスタリング手法が曇りやバイアスのため失敗する、大規模で多様なデータセットにおける小さな結束性の高いクラスタ（マイクロクラスタ）の同定という課題に対処する。
• 過剰なクラスタ数、偏ったサイズ分布、ノイズや初期化に弱いといった、従来手法の限界を克服する。
• ノイズのクリーニングではなく、現実的な仮説に基づいてデータを変更することで、クラスタ構造を明確にする原理的かつ整合的なアプローチを開発する。
• マイクロクラスタが独立しており、関連するすべてのグループをカバーし、一貫した粒度を維持し、微小なデータ摂動に対して安定であることを保証する。
• 確率的処理や複雑な最適化に依存せずに、効率的でスケーラブルかつ決定論的なマイクロクラスタ列挙を可能にする。

提案手法

• データの磨き上げを提案：可能な仮説に基づいてエッジを変更することで、曇った構造を明確なクラスタ表現に統一する入力グラフの変換。
• kインターセクション磨き上げを適用：各頂点ペアについて、少なくともk個の共通近傍を持つ場合にエッジを追加する。これはk共通近傍条件に基づく。
• 任意の密集した部分グラフや擬似クリークに属さないエッジを削除することで、誤った接続やノイズを低減する。
• 密集した部分グラフ（潜在的なマイクロクラスタ）がクリークに変換されるようにグラフを変換し、最大クリークとして識別しやすくする。
• 磨き上げ済みグラフ上で最大クリーク列挙を実行し、マイクロクラスタを抽出することで、構造の明確さと取り扱いやすい出力サイズを保証する。
• 理論的保証を活用：元のグラフGにおいて最小次数が(γ+1)k/2以上である部分グラフは、P^k(G)においてクリークに変換され、クラスタの整合性が保たれる。

実験結果

リサーチクエスチョン

• RQ1 データの磨き上げは、類似度グラフの曇りを効果的に低減し、小さな結束性の高いマイクロクラスタを明らかにできるか？
• RQ2 k共通近傍条件に基づくエッジ補正は、真のクラスタを保持しながらノイズや誤った接続を除去できるか？
• RQ3 大規模データ上でも、得られるマイクロクラスタの数を小さく抑え、管理可能に保てるか？
• RQ4 微小なデータ変更（例：頂点の順序やランダムシードの変更）に対して、マイクロクラスタリングの結果は頑健か？
• RQ5 大規模データ上で数分の時間でマイクロクラスタを効率的に計算でき、かつ高い内部類似度を維持できるか？

主な発見

• 発見されたマイクロクラスタの数は、大規模データセットでさえも通常1,000個前後と小さく抑えられ、出力の取り扱いやすさを満たしている。
• マイクロクラスタは高い内部結束性を示し、メンバー同士が深く関連していることが、磨き上げ後に保持された密集部分グラフ構造によって裏付けられている。
• 計算時間は効率的で、大規模データ上でも数分で結果が得られ、実用的なスケーラビリティを示している。
• 本手法は頑健性を確保しており、微小なデータ変更に対しても結果が安定しており、剛性要件を満たしている。
• 理論的分析により、元のグラフで十分な最小次数を持つ部分グラフが、磨き上げ済みグラフでクリークに変換されることを確認した。これによりクラスタの整合性が保たれている。
• データの磨き上げにより、曇った密集部分グラフがクリークに変換され、マイクロクラスタリングの代理として正確かつ効率的な最大クリーク列挙が可能になった。