[论文解读] The Landscape of the Planted Clique Problem: Dense subgraphs and the Overlap Gap Property

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|Apr 15, 2019

Topological and Geometric Data Analysis参考文献 37被引用 29

一句话总结

本文利用重叠间隙性质（OGP）作为视角，研究了植 clique 问题中的计算-统计间隙。通过使用过参数化的 $ar{k}$-最密子图优化方法分析密集子图，作者为 $k = \Theta(\sqrt{n})$ 处的 OGP 相变提供了第一矩证据，表明在此阈值以下存在算法困难性；并利用条件二阶矩方法严格证明了当 $k = n^{0.0917}$ 时 OGP 的存在性。此外，本文建立了在 $G(n,\frac{1}{2})$ 中 $K$-最密子图的集中性结果，其中 $K = n^{0.5 - \epsilon}$，为理解随机图推断中的算法障碍提供了新工具。

ABSTRACT

In this paper we study the computational-statistical gap of the planted clique problem, where a clique of size $k$ is planted in an Erdos Renyi graph $G(n,\frac{1}{2})$ resulting in a graph $G\left(n,\frac{1}{2},k ight)$. The goal is to recover the planted clique vertices by observing $G\left(n,\frac{1}{2},k ight)$ . It is known that the clique can be recovered as long as $k \geq \left(2+ε ight)\log n $ for any $ε>0$, but no polynomial-time algorithm is known for this task unless $k=Ω\left(\sqrt{n} ight)$. Following a statistical-physics inspired point of view as an attempt to understand this computational-statistical gap, we study the landscape of the "sufficiently dense" subgraphs of $G$ and their overlap with the planted clique. Using the first moment method, we study the densest subgraph problems for subgraphs with fixed, but arbitrary, overlap size with the planted clique, and provide evidence of a phase transition for the presence of Overlap Gap Property (OGP) at $k=Θ\left(\sqrt{n} ight)$. OGP is a concept introduced originally in spin glass theory and known to suggest algorithmic hardness when it appears. We establish the presence of OGP when $k$ is a small positive power of $n$ by using a conditional second moment method. As our main technical tool, we establish the first, to the best of our knowledge, concentration results for the $K$-densest subgraph problem for the Erdos-Renyi model $G\left(n,\frac{1}{2} ight)$ when $K=n^{0.5-ε}$ for arbitrary $ε>0$. Finally, to study the OGP we employ a certain form of overparametrization, which is conceptually aligned with a large body of recent work in learning theory and optimization.

研究动机与目标

• 为了理解植 clique 问题中的计算-统计间隙，其中当 $k \geq (2+\epsilon)\log n$ 时可恢复，但尚无已知的多项式时间算法在 $k = \Omega(\sqrt{n})$ 以下工作。
• 为了研究在植 clique 模型的密集子图景观中，已知作为自旋玻璃模型中算法困难性指标的重叠间隙性质（OGP）是否会出现。
• 为了在 Erdős-Rényi 随机图 $G(n, \frac{1}{2})$ 中，对 $K = n^{0.5 - \epsilon}$ 的 $K$-最密子图建立严格的集中性结果，这对分析 OGP 至关重要。
• 为了探索过参数化——即引入 $\bar{k} \geq k$——作为技术工具，以揭示子图景观中隐藏的结构相变。

提出的方法

• 作者通过第一矩方法分析与植 clique 显著重叠的 $\bar{k}$-最密子图的数量的期望，推导出此类重叠概率的界。
• 通过研究 $\bar{k} \geq k$ 的 $\bar{k}$-最密子图引入过参数化，使得相比非过参数化情形，能更清晰地检测到 $k = \Theta(\sqrt{n})$ 处的 OGP 相变。
• 应用条件二阶矩方法，证明了当 $k = n^{0.0917}$ 时 OGP 的存在性，确立了一个非平凡的算法困难性由 OGP 暗示的区域。
• 本文推导出 $G(n, \frac{1}{2})$ 中 $K$-最密子图的集中不等式，表明当 $K \leq n^{0.5 - \epsilon}$ 时，一阶与二阶行为具有紧密集中性，这是新颖的技术贡献。
• 作者使用两个马尔可夫链之间的耦合论证来界定混合时间，并证明当 OGP 存在时，MCMC 算法无法混合。
• 基于二阶项在 $K \leq n^{0.5 - \epsilon}$ 时呈 $\Theta(K^{3/2})$ 的缩放行为，作者推测在 $K = n^{2/3}$ 处存在二阶项的转变。

实验结果

研究问题

• RQ1 重叠间隙性质（OGP）是否在植 clique 模型的密集子图景观中出现，其出现的 $k$ 阈值是多少？
• RQ2 第一矩方法能否为 $k = \Theta(\sqrt{n})$ 处 OGP 的相变提供证据，该阈值被推测为算法困难性的临界点？
• RQ3 $K = n^{0.5 - \epsilon}$ 时 $G(n, \frac{1}{2})$ 中 $K$-最密子图的集中行为如何？它如何支持 OGP 的分析？
• RQ4 通过研究 $\bar{k} \geq k$ 的 $\bar{k}$-最密子图，过参数化是否能揭示标准 $k$-最密子图分析中不可见的算法障碍？
• RQ5 是否存在一个临界 $K$，使得 $K$-最密子图的二阶项从 $\Theta(K^{3/2})$ 转变为 $O(K)$，其意义是什么？

主要发现

• 作者为 $k = \Theta(\sqrt{n})$ 处 OGP 的相变提供了第一矩证据，表明该区域存在算法困难性。
• 通过条件二阶矩方法，严格证明了当 $k = n^{0.0917}$ 时 OGP 的存在性，确立了一个明确的区域，其中 OGP 暗示某些 MCMC 算法的失败。
• 本文首次建立了在 $G(n, \frac{1}{2})$ 中 $K = n^{0.5 - \epsilon}$ 的 $K$-最密子图的集中性结果，表明一阶与二阶项具有紧密集中性。
• 研究显示，当 $K \leq n^{0.5 - \epsilon}$ 时，$K$-最密子图的二阶项呈 $\Theta(K^{3/2})$ 缩放，暗示在 $K = n^{2/3}$ 处存在临界转变，该点被推测为渐近行为改变的标志。
• 作者证明了过参数化——即考虑 $\bar{k} \geq k$——对于检测 OGP 相变至关重要，因为非过参数化情形下的第一矩曲线在 $k = n^{2/3}$ 处出现转变，远高于推测的 $k = \sqrt{n}$ 阈值。
• OGP 被证明会引发一大类 MCMC 算法的失败，为植 clique 模型中高效采样与恢复提供了非平凡的障碍。