[论文解读] Micro-Clustering: Finding Small Clusters in Large Diversity

Takeaki Uno, Hiroki Maegawa+4 more|arXiv (Cornell University)|Jul 11, 2015

Advanced Clustering Algorithms Research参考文献 12被引用 11

一句话总结

本文提出通过数据净化实现微聚类，以在大型多样化数据集中识别出小型、紧密关联的群体。通过基于k-共同邻居条件的边校正方式对相似性图进行变换——将密集子图替换为团（clique），并移除稀疏边——该方法减少了歧义，实现了对有意义且无冗余的微聚类的高效枚举，具有可处理的规模和高凝聚性，在大规模数据上可在数分钟内完成结果输出。

ABSTRACT

We address the problem of un-supervised soft-clustering called micro-clustering. The aim of the problem is to enumerate all groups composed of records strongly related to each other, while standard clustering methods separate records at sparse parts. The problem formulation of micro-clustering is non-trivial. Clique mining in a similarity graph is a typical approach, but it results in a huge number of cliques that are of many similar cliques. We propose a new concept data polishing. The cause of huge solutions can be considered that the groups are not clear in the data, that is, the boundaries of the groups are not clear, because of noise, uncertainty, lie, lack, etc. Data polishing clarifies the groups by perturbating the data. Specifically, dense subgraphs that would correspond to clusters are replaced by cliques. The clusters are clarified as maximal cliques, thus the number of maximal cliques will be drastically reduced. We also propose an efficient algorithm applicable even for large scale data. Computational experiments showed the efficiency of our algorithm, i.e., the number of solutions is small, (e.g., 1,000), the members of each group are deeply related, and the computation time is short.

研究动机与目标

• 解决在大型多样化数据集中寻找小型凝聚聚类（微聚类）的挑战，因为标准聚类方法在存在歧义和偏差时会失效。
• 克服现有方法的局限性，如聚类数量过多、大小分布偏差大，以及对噪声或初始化的鲁棒性差。
• 提出一种系统性方法，通过基于可行假设修改数据来澄清聚类结构，而非清理噪声。
• 确保微聚类相互独立、覆盖所有相关群体、保持一致的粒度，并在数据发生微小扰动时保持稳定。
• 实现微聚类的高效、可扩展且确定性的枚举，无需依赖随机化或复杂优化。

提出的方法

• 提出数据净化：一种对输入图进行变换的方法，通过基于可行假设修改边，将模糊结构统一为更清晰的聚类表示。
• 应用k-交集净化：对于每对顶点，若其至少有k个共同邻居，则添加边，依据k-共同邻居条件。
• 移除不属于任何密集子图或伪团（pseudo clique）的边，以减少虚假连接和噪声。
• 将图进行变换，使密集子图（潜在微聚类）变为团，从而更易于识别为最大团。
• 在净化后的图上使用最大团枚举算法提取微聚类，确保结构清晰且输出规模可控。
• 利用理论保证：在图G中，最小度数≥ (γ+1)k/2 的子图在P^k(G)中将成为团，从而保证聚类完整性。

实验结果

研究问题

• RQ1 数据净化是否能有效降低相似性图中的歧义，从而揭示出小型凝聚的微聚类？
• RQ2 基于k-共同邻居条件的边校正是否能在保留真实聚类的同时消除噪声和虚假连接？
• RQ3 即使在大规模数据上，生成的微聚类数量是否仍能保持在较小且可管理的范围内？
• RQ4 微聚类结果是否对微小的数据变化（如顶点排序或随机种子）具有鲁棒性？
• RQ5 该方法是否能高效地在数分钟内完成大规模数据集的微聚类计算，同时保持高组内相似性？

主要发现

• 即使在大规模数据集上，发现的微聚类数量也保持在较小规模，通常约为1,000个，满足输出可处理性的需求。
• 微聚类表现出高度的内部凝聚性，成员之间关系紧密，经证实为净化后仍保留的密集子图结构。
• 计算时间高效，大规模数据上可在数分钟内生成结果，展现出实际可扩展性。
• 该方法确保了鲁棒性：结果在微小数据变化下保持稳定，满足刚性要求。
• 理论分析证实，原始图中最小度数足够的子图在净化图中会成为团，从而保证聚类完整性。
• 数据净化成功地将模糊的密集子图转化为团，使最大团枚举可作为微聚类的高效代理方法。