[论文解读] Breaking the Small Cluster Barrier of Graph Clustering

Nir Ailon, Yudong Chen+1 more|arXiv (Cornell University)|Feb 19, 2013

Complex Network Analysis Techniques参考文献 29被引用 24

一句话总结

该论文提出了一种新颖的迭代‘剥离’策略，通过利用对迹范数和ℓ₁-基凸松弛的精细化分析，打破了图聚类中传统的‘小簇障碍’。该方法证明了即使存在小簇，仍可精确恢复大簇，从而在无需最小簇大小约束的情况下恢复几乎所有节点，并通过主动学习将该方法扩展至部分观测情形。

ABSTRACT

This paper investigates graph clustering in the planted cluster model in the presence of {\em small clusters}. Traditional results dictate that for an algorithm to provably correctly recover the clusters, {\em all} clusters must be sufficiently large (in particular, $ ildeΩ(\sqrt{n})$ where $n$ is the number of nodes of the graph). We show that this is not really a restriction: by a more refined analysis of the trace-norm based recovery approach proposed in Jalali et al. (2011) and Chen et al. (2012), we prove that small clusters, under certain mild assumptions, do not hinder recovery of large ones. Based on this result, we further devise an iterative algorithm to recover {\em almost all clusters} via a "peeling strategy", i.e., recover large clusters first, leading to a reduced problem, and repeat this procedure. These results are extended to the {\em partial observation} setting, in which only a (chosen) part of the graph is observed.The peeling strategy gives rise to an active learning algorithm, in which edges adjacent to smaller clusters are queried more often as large clusters are learned (and removed). From a high level, this paper sheds novel insights on high-dimensional statistics and learning structured data, by presenting a structured matrix learning problem for which a one shot convex relaxation approach necessarily fails, but a carefully constructed sequence of convex relaxationsdoes the job.

研究动机与目标

• 解决图聚类中长期存在的局限性：当小簇（低于Ω̃(√n)）存在时，会阻碍对大簇的精确恢复。
• 挑战‘所有簇都必须足够大’才能实现可证明恢复的假设，表明小簇本身并不会从根本上阻碍大簇的识别。
• 开发一种迭代算法，优先恢复大簇并将其剥离，从而减小问题规模，并在后续步骤中实现对小簇的恢复。
• 将该方法扩展至部分观测情形，通过优先查询在大簇被移除后靠近小簇的边，实现主动学习。
• 为为何单次凸松弛失败但一系列精心构建的松弛能成功实现结构化矩阵恢复提供理论依据。

提出的方法

• 采用Jalali等人（2011）和Chen等人（2012）最初提出的基于混合迹范数与ℓ₁-基的凸松弛公式，并通过精细化分析增强对小簇的鲁棒性。
• 引入一种‘剥离策略’，通过迭代识别并移除大簇，减小图的规模，从而降低后续簇恢复的阈值。
• 应用对偶证书构造方法，证明在温和假设下，凸松弛能最优地识别大簇，同时忽略小簇。
• 利用Bernstein与Hoeffding不等式控制部分观测情形下的噪声，实现对缺失边的鲁棒性。
• 设计一种主动学习框架，使在大簇被学习并移除后，更频繁地查询靠近小簇的边。
• 利用随机矩阵的谱范数界（通过非交换Bernstein不等式）控制矩阵恢复过程中的扰动。

实验结果

研究问题

• RQ1 当小簇违反传统的√n大小阈值时，大簇是否仍能被精确恢复，即使存在小簇？
• RQ2 为何在存在小簇时，单次凸松弛在结构化矩阵恢复中会失败？能否通过顺序方法克服此问题？
• RQ3 是否可以设计一种迭代算法，通过逐步移除更大的簇，实现对任意大小簇的恢复？
• RQ4 如何利用部分观测情形设计一种主动学习算法，以提高边查询的效率？
• RQ5 对簇大小分布（例如大簇与小簇之间存在对数差距）的何种结构假设足以实现可证明的恢复？

主要发现

• 在对数大小差距假设下，所提出的凸松弛方法即使在存在小簇（大小为O(√n)）时，仍能成功恢复所有大簇（大小为Ω̃(√n log²n)）。
• 由于采用了精细化的对偶证书构造，该方法以高概率实现大簇的精确恢复，同时有效忽略小簇。
• 通过应用剥离策略，算法在第一轮迭代中即可恢复大小为Ω̃(√n)的簇，后续迭代因图规模减小而能恢复更小的簇。
• 只要簇大小之间存在对数因子的分离，该算法可在无需最小簇大小下界的情况下恢复图中几乎所有节点。
• 在部分观测模型中，该方法通过在大簇被移除后动态优先查询靠近小簇的边，实现了主动学习。
• 理论分析表明，错误解的代价在高概率下严格高于真实解，从而确保了恢复簇的最优性。