[论文解读] Clustering Partially Observed Graphs via Convex Optimization

Yudong Chen, Ali Jalali+2 more|arXiv (Cornell University)|Apr 25, 2011

Sparse and Compressive Sensing Techniques参考文献 44被引用 97

一句话总结

该论文提出了一种凸优化框架，用于对部分观测到的无权图进行聚类，通过最小化不一致——即簇内缺失边与簇间存在边——实现。该方法将问题转化为从部分观测中进行低秩与稀疏矩阵分解，在簇大小、边密度和观测概率满足温和条件时，可实现精确聚类恢复，且在随机块模型中达到对数因子范围内的最优性。

ABSTRACT

This paper considers the problem of clustering a partially observed unweighted graph---i.e., one where for some node pairs we know there is an edge between them, for some others we know there is no edge, and for the remaining we do not know whether or not there is an edge. We want to organize the nodes into disjoint clusters so that there is relatively dense (observed) connectivity within clusters, and sparse across clusters. We take a novel yet natural approach to this problem, by focusing on finding the clustering that minimizes the number of "disagreements"---i.e., the sum of the number of (observed) missing edges within clusters, and (observed) present edges across clusters. Our algorithm uses convex optimization; its basis is a reduction of disagreement minimization to the problem of recovering an (unknown) low-rank matrix and an (unknown) sparse matrix from their partially observed sum. We evaluate the performance of our algorithm on the classical Planted Partition/Stochastic Block Model. Our main theorem provides sufficient conditions for the success of our algorithm as a function of the minimum cluster size, edge density and observation probability; in particular, the results characterize the tradeoff between the observation probability and the edge density gap. When there are a constant number of clusters of equal size, our results are optimal up to logarithmic factors.

研究动机与目标

• 解决边信息仅部分可观测的图聚类挑战——部分边已知存在，部分已知不存在，其余未观测。
• 开发一种最小化不一致的聚类方法，且无需预先知道簇的数量。
• 提供一种可证明正确的算法，要么返回最优聚类，要么检测失败，避免返回次优解。
• 在部分观测的植株划分/随机块模型中，建立精确恢复的理论条件。
• 刻画观测概率与边密度差距之间的权衡，以实现成功聚类。

提出的方法

• 该方法将观测到的邻接矩阵建模为一个低秩矩阵（代表理想的簇结构）与一个稀疏矩阵（代表不一致）之和。
• 通过在部分观测条目上对核范数和l1-范数进行最小化，利用凸优化恢复低秩与稀疏分量。
• 该算法求解一个矩阵分解问题：在满足 P_Ω(A) = P_Ω(L + S) 的条件下，最小化 ‖L‖_* + λ‖S‖_1，其中 L 为低秩矩阵，S 为稀疏矩阵。
• 其解源自一种新颖的减少不一致最小化问题至部分观测下的鲁棒矩阵分解的转化。
• 理论分析依赖于集中不等式与矩阵扰动理论，以界定残差项的无穷范数。
• 当观测概率与边密度差距满足相对于簇大小与图大小的特定阈值时，可保证恢复成功。

实验结果

研究问题

• RQ1 我们能否在不预先指定簇数量的情况下，利用凸优化框架实现对部分观测图的精确聚类？
• RQ2 在随机块模型中，成功恢复所需的观测概率、边密度差距与簇大小的充分条件是什么？
• RQ3 在部分观测条件下，该方法在理论保证与性能方面相较于现有方法有何差异？
• RQ4 在最坏情况下，该方法在多大程度上实现了对数因子范围内的最优恢复？
• RQ5 不一致最小化目标能否通过凸松弛有效求解并具备可证明的正确性？

主要发现

• 当观测概率与边密度差距满足 p₀ ≥ C log n / K_min 时，所提算法可保证精确聚类恢复，其中 K_min 为最小簇大小。
• 对于大小恒定且相等的簇，该方法在恢复阈值上达到对数因子范围内的最优性。
• 理论分析表明，当观测概率 p₀ 相对于边密度差距与簇大小足够大时，该算法以高概率成功。
• 与通用矩阵分解结果相比，该方法提供了更强的、专为聚类问题量身定制的保证。
• 恢复阈值的量级为 O(log n / K_min)，与已知的信息论极限一致，仅相差对数因子。
• 仅当数据不满足理论条件时才会发生失败，从而确保不会返回次优解。