[论文解读] Finding Dense Clusters via "Low Rank + Sparse" Decomposition

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|Apr 27, 2011

Complex Network Analysis Techniques参考文献 16被引用 52

一句话总结

本文提出一种凸优化方法，通过将密集聚类建模为低秩加稀疏矩阵分解来检测图中的密集聚类，其中低秩分量表示聚类结构，稀疏误差项用于解释缺失或额外的边。关键结果表明，在概率模型下，即使存在边缺失或损坏，只要聚类互不相交且足够大，就能以高概率恢复这些聚类。

ABSTRACT

Finding "densely connected clusters" in a graph is in general an important and well studied problem in the literature \cite{Schaeffer}. It has various applications in pattern recognition, social networking and data mining \cite{Duda,Mishra}. Recently, Ames and Vavasis have suggested a novel method for finding cliques in a graph by using convex optimization over the adjacency matrix of the graph \cite{Ames, Ames2}. Also, there has been recent advances in decomposing a given matrix into its "low rank" and "sparse" components \cite{Candes, Chandra}. In this paper, inspired by these results, we view "densely connected clusters" as imperfect cliques, where imperfections correspond missing edges, which are relatively sparse. We analyze the problem in a probabilistic setting and aim to detect disjointly planted clusters. Our main result basically suggests that, one can find \emph{dense} clusters in a graph, as long as the clusters are sufficiently large. We conclude by discussing possible extensions and future research directions.

研究动机与目标

• 检测由于缺失或多余边而并非完美团的密集连接聚类。
• 将凸优化方法用于低秩和稀疏矩阵分解扩展到随机图中的聚类检测问题。
• 建立在凸松弛下，互不相交聚类可高概率恢复的理论条件。
• 分析两种凸规划的性能：一种‘盲方法’和一种利用部分先验知识的‘智能方法’。
• 研究在部分观测下（每条边以固定概率独立观测）的聚类恢复性能。

提出的方法

• 将密集聚类建模为低秩矩阵（表示完美团），并将缺失/多余边建模为稀疏扰动。
• 使用核范数最小化实现低秩恢复，使用ℓ₁-范数最小化检测矩阵分解中的稀疏误差。
• 提出一种‘盲方法’，通过求解不依赖聚类位置先验知识的凸规划，仅依赖邻接矩阵的结构。
• 引入一种‘智能方法’，将部分聚类信息融入优化过程，即使当p_min > q但p_min ≤ 1/2时，也能改善恢复保证。
• 应用浓度不等式和切尔诺夫界，分析在概率聚类模型下边数与其期望值的偏离程度。
• 采用对偶性和几何论证，证明在高概率下，真实低秩和稀疏分量是凸规划的唯一解。

实验结果

研究问题

• RQ1 当邻接矩阵因缺失或多余边而受损时，图中密集聚类在何种条件下可通过凸优化恢复？
• RQ2 低秩 + 稀疏分解框架能否在概率图模型下成功检测非完美团（即密集聚类）？
• RQ3 聚类大小如何影响盲方法和智能方法下成功恢复的概率？
• RQ4 部分观测（即边仅部分可观测）对聚类检测性能有何影响？
• RQ5 当p_min ≤ 1/2时，恢复保证能否扩展到q > 1/2的情况，尤其是p_min ≤ 1/2的情形？

主要发现

• 当min_i p_i > 1/2且聚类足够大时，即k_i ≥ 8√n / (2p_i - 1)，盲方法能以高概率成功恢复聚类。
• 智能方法在任意p_min > q时保证恢复成功，即使p_min ≤ 1/2，通过将部分聚类信息融入优化过程。
• 在部分观测下，聚类仍可恢复，但相比完全观测，需要更大的聚类尺寸。
• 失败概率的误差指数为Ω(min{1−2q, 2p_min−1}²k_min)，表明随着聚类尺寸增大，失败概率呈指数衰减。
• 当q > 1/2时，该方法能以高概率构造出一个可行解(L¹, S¹)，其目标值严格优于原始解，从而证明真实解为最优解。
• 理论分析确认，在给定条件下，真实(L⁰, S⁰)分解是凸规划的唯一解，该结论通过使用对偶性和几何论证得到验证。