[论文解读] Convex optimization for the planted k-disjoint-clique problem

Brendan Ames, Stephen A. Vavasis|arXiv (Cornell University)|Aug 17, 2010

Sparse and Compressive Sensing Techniques参考文献 19被引用 6

一句话总结

该论文提出一种通过半定规划的凸优化方法，可在噪声干扰下精确恢复 $k$ 个不相交的植入团。理论证明表明，当团足够大且噪声为对抗性（边数有界）或随机性（固定边概率）时，该方法以高概率恢复真实团结构，将先前关于最大团问题的结果推广至 $k$-不相交团设置。

ABSTRACT

We consider the k-disjoint-clique problem. The input is an undirected graph G in which the nodes represent data items, and edges indicate a similarity between the corresponding items. The problem is to find within the graph k disjoint cliques that cover the maximum number of nodes of G. This problem may be understood as a general way to pose the classical `clustering' problem. In clustering, one is given data items and a distance function, and one wishes to partition the data into disjoint clusters of data items, such that the items in each cluster are close to each other. Our formulation additionally allows `noise' nodes to be present in the input data that are not part of any of the cliques. The k-disjoint-clique problem is NP-hard, but we show that a convex relaxation can solve it in polynomial time for input instances constructed in a certain way. The input instances for which our algorithm finds the optimal solution consist of k disjoint large cliques (called `planted cliques') that are then obscured by noise edges and noise nodes inserted either at random or by an adversary.

研究动机与目标

• 为在存在噪声数据的情况下解决 NP-难的 $k$-不相交团问题（最大团问题的推广），
• 开发一种多项式时间的凸松弛方法，当团被对抗性或随机噪声掩盖时，能精确恢复植入团。
• 建立半定松弛在高概率下恢复最优 $k$-不相交团子图的理论条件。
• 将先前关于最大团问题的研究结果推广至更一般的 $k$-团聚类设置。
• 为在噪声中隐藏密集子结构的数据提供一种鲁棒聚类框架。

提出的方法

• 将 $k$-不相交团问题建模为邻接矩阵上的非凸组合优化问题。
• 将问题松弛为半定规划（SDP），并施加非负定矩阵、度数约束、迹等于 $k$，以及与输入图匹配的稀疏性约束。
• 通过矩阵 $X \succeq 0$ 的秩一矩阵约束的凸松弛，建模不相交团，其中 $\mathrm{tr}(X) = k$ 且当 $[A_G]_{ij} = 0$ 时 $X_{ij} = 0$。
• 应用随机矩阵理论，对表示团间噪声的非对角块矩阵的谱范数进行上界估计。
• 利用概率不等式和矩阵扰动理论，推导在随机噪声模型下的概率恢复保证。
• 在 MATLAB 中使用 SDPNAL 求解器对具有植入团的合成图进行数值评估，以检验恢复性能。

实验结果

研究问题

• RQ1 在存在植入团和添加噪声的图中，何种条件下凸松弛能精确恢复 $k$ 个不相交团？
• RQ2 该算法在仍能恢复植入团的前提下，最多可容忍多少对抗性边？
• RQ3 当噪声边以固定概率 $p$ 独立添加时，需要多大的团大小才能实现高概率恢复？
• RQ4 理论边界是否与模拟中的实际性能相匹配？
• RQ5 理论保证在具有隐藏密集子图的真实世界聚类场景中能扩展到何种程度？

主要发现

• 当对抗性噪声边数量为 $O(\hat{r}^2)$ 时，半定松弛能精确恢复植入的 $k$-不相交团子图，其中 $\hat{r}$ 为最小团大小。
• 对于边概率为 $p$ 的随机噪声，若定理 4.5 中理论边界的右端项不超过 $\hat{r}$，则算法以指数接近 1 的概率恢复植入团。
• 模拟结果表明，即使团大小低于理论阈值，恢复仍可实现，表明理论边界可能偏保守。
• 经验恢复率与理论预测高度一致，尤其在 $N$ 较大且 $p$ 适中时表现更佳。
• 在随机噪声下，该方法成功恢复了 $N^{1/4}$ 个大小为 $\Omega(N^{1/2})$ 的植入团，验证了理论缩放关系。
• 理论分析表明，团间噪声块的谱范数被限制在 $O(\sqrt{r_s / r_q})$ 内，当团足够大时可实现恢复。