[論文レビュー] The Landscape of the Planted Clique Problem: Dense subgraphs and the Overlap Gap Property

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|Apr 15, 2019

Topological and Geometric Data Analysis参考文献 37被引用数 29

ひとこと要約

本稿は、植え付けクリーク問題における計算統計的ギャップを、重なりギャップ性質（OGP）を観察する枠組みとして考察する。過パラメータ化された$ar{k}$-密集部分グラフ最適化を用いて密度の高い部分グラフを分析することで、$k = \Theta(\sqrt{n})$でOGPの相転移が生じることを一階モーメントの証拠として提示し、この閾値未満ではアルゴリズム的困難性が生じることを示唆する。さらに、条件付き二階モーメント法を用いて$k = n^{0.0917}$におけるOGPの厳密な証明を達成した。また、$G(n,\frac{1}{2})$における$K$-密集部分グラフの集中性について、$K = n^{0.5 - \epsilon}$の下で結果を確立し、ランダムグラフ推論におけるアルゴリズム的障壁を理解するための新規な手法を提供する。

ABSTRACT

In this paper we study the computational-statistical gap of the planted clique problem, where a clique of size $k$ is planted in an Erdos Renyi graph $G(n,\frac{1}{2})$ resulting in a graph $G\left(n,\frac{1}{2},k ight)$. The goal is to recover the planted clique vertices by observing $G\left(n,\frac{1}{2},k ight)$ . It is known that the clique can be recovered as long as $k \geq \left(2+ε ight)\log n $ for any $ε>0$, but no polynomial-time algorithm is known for this task unless $k=Ω\left(\sqrt{n} ight)$. Following a statistical-physics inspired point of view as an attempt to understand this computational-statistical gap, we study the landscape of the "sufficiently dense" subgraphs of $G$ and their overlap with the planted clique. Using the first moment method, we study the densest subgraph problems for subgraphs with fixed, but arbitrary, overlap size with the planted clique, and provide evidence of a phase transition for the presence of Overlap Gap Property (OGP) at $k=Θ\left(\sqrt{n} ight)$. OGP is a concept introduced originally in spin glass theory and known to suggest algorithmic hardness when it appears. We establish the presence of OGP when $k$ is a small positive power of $n$ by using a conditional second moment method. As our main technical tool, we establish the first, to the best of our knowledge, concentration results for the $K$-densest subgraph problem for the Erdos-Renyi model $G\left(n,\frac{1}{2} ight)$ when $K=n^{0.5-ε}$ for arbitrary $ε>0$. Finally, to study the OGP we employ a certain form of overparametrization, which is conceptually aligned with a large body of recent work in learning theory and optimization.

研究の動機と目的

• 植え付けクリーク問題における計算統計的ギャップを理解すること。ここでは、$k \geq (2+\epsilon)\log n$であれば回復可能であるが、$k = \Omega(\sqrt{n})$未満では多項式時間アルゴリズムが知られていない。
• スピンガラスモデルにおけるアルゴリズム的困難性の指標として知られる重なりギャップ性質（OGP）が、植え付けクリークモデルの密集部分グラフの多様性に現れるかを調査すること。
• Erdős-Rényiランダムグラフ$G(n, \frac{1}{2})$における$K = n^{0.5 - \epsilon}$の$K$-密集部分グラフの厳密な集中性結果を確立すること。これはOGPの分析に不可欠である。
• 過パラメータ化（$ar{k} \geq k$を導入すること）を技術的ツールとして用い、部分グラフの多様性における隠れた構造的相転移を明らかにすること。

提案手法

• 著者たちは、植え付けクリークと顕著に重複する$ar{k}$-密集部分グラフの数の第一モーメントを分析し、第一モーメント法を用いて、このような重複の確率の上限を導出する。
• 過パラメータ化を導入し、$ar{k} \geq k$の$ar{k}$-密集部分グラフを考察することで、非過パラメータ化の場合に比べ、$k = \Theta(\sqrt{n})$でOGPの相転移をより明確に検出できるようにする。
• 条件付き二階モーメント法を適用し、$k = n^{0.0917}$におけるOGPの存在を証明することで、OGPがアルゴリズム的困難性を示す非自明な領域を確立する。
• 本稿は、$G(n, \frac{1}{2})$における$K$-密集部分グラフの集中不等式を導出し、$K \leq n^{0.5 - \epsilon}$の下で第一および第二階層の挙動がきわめて集中することを示す。これは新規な技術的貢献である。
• 2つのマルコフ連鎖間のカップリング論法を用いて混合時間の上限を評価し、OGPが存在する場合にはMCMCアルゴリズムが混合しないことを証明する。
• 第二階層項が$K \leq n^{0.5 - \epsilon}$で$\Theta(K^{3/2})$とスケーリングすることを根拠に、$K = n^{2/3}$で第二階層項に遷移があると予想する。

実験結果

リサーチクエスチョン

• RQ1 植え付けクリークモデルの密集部分グラフの多様性に、重なりギャップ性質（OGP）が現れるか。その閾値$k$はどの程度か？
• RQ2 第一モーメント法が、$k = \Theta(\sqrt{n})$（アルゴリズム的困難性の推定閾値）でOGPの相転移の証拠を提供できるか？
• RQ3 $K = n^{0.5 - \epsilon}$における$G(n, \frac{1}{2})$の$K$-密集部分グラフの集中性はどのようであり、OGPの分析をどのように支援するか？
• RQ4 過パラメータ化（$ar{k} \geq k$の$ar{k}$-密集部分グラフを考察すること）により、通常の$k$-密集部分グラフ解析では見えないアルゴリズム的障壁を明らかにできるか？
• RQ5 第二階層項が$\Theta(K^{3/2})$から$O(K)$に遷移する臨界$K$が存在するか。その意義は何か？

主な発見

• 著者たちは、$k = \Theta(\sqrt{n})$で重なりギャップ性質（OGP）の相転移が生じることを第一モーメントの証拠として提供し、この領域でアルゴリズム的困難性が生じることを示唆する。
• 条件付き二階モーメント法を用いて、$k = n^{0.0917}$におけるOGPの存在を厳密に証明し、OGPが特定のMCMCアルゴリズムの失敗を示す非自明な領域を確立する。
• 本稿は、$K = n^{0.5 - \epsilon}$における$G(n, \frac{1}{2})$の$K$-密集部分グラフについて、初めての集中性結果を確立し、第一および第二階層の項がきわめて集中していることを示す。
• $K \leq n^{0.5 - \epsilon}$の範囲で、$K$-密集部分グラフの第二階層項が$\Theta(K^{3/2})$とスケーリングすることが示され、$K = n^{2/3}$で臨界的転移が起こると予想される。これは漸近的挙動の変化を示す可能性がある。
• 過パラメータ化（$ar{k} \geq k$を考慮すること）が、OGPの相転移を検出するために不可欠であることを実証した。非過パラメータ化された第一モーメント曲線では、$k = n^{2/3}$で相転移が生じるが、これは推定された$k = \sqrt{n}$の閾値よりはるかに高い。
• OGPが広範なMCMCアルゴリズム族の失敗を示すことが示され、植え付けクリークモデルにおける効率的なサンプリングと回復の非自明な障壁を提供する。