[論文レビュー] Achieving Exact Cluster Recovery Threshold via Semidefinite Programming

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Nov 24, 2014

Statistical Methods and Inference参考文献 31被引用数 25

ひとこと要約

本稿は、二値対称ストースティックブロックモデルおよびプラントド・デンスサブグラフモデルの両方において、最大尤度推定の半定値計画法（SDP）緩和が正確回復の閾値に達することを確立し、長年の予想を解決した。SDPが、信号対雑音比が情報理論的閾値に達する場合に、高確率で真のクラスタ構造を正確に回復できることを証明した。特に、ストースティックブロックモデルでは、$(\sqrt{a} - \sqrt{b})^2 > 2$ のときが該当する。

ABSTRACT

The binary symmetric stochastic block model deals with a random graph of $n$ vertices partitioned into two equal-sized clusters, such that each pair of vertices is connected independently with probability $p$ within clusters and $q$ across clusters. In the asymptotic regime of $p=a \log n/n$ and $q=b \log n/n$ for fixed $a,b$ and $n o \infty$, we show that the semidefinite programming relaxation of the maximum likelihood estimator achieves the optimal threshold for exactly recovering the partition from the graph with probability tending to one, resolving a conjecture of Abbe et al. \cite{Abbe14}. Furthermore, we show that the semidefinite programming relaxation also achieves the optimal recovery threshold in the planted dense subgraph model containing a single cluster of size proportional to $n$.

研究の動機と目的

• 二値対称ストースティックブロックモデルにおける、最大尤度推定の半定値計画法（SDP）緩和が正確回復閾値に達することを解決すること。
• SDPの最適性を、$n$ に比例するサイズのクラスタを有するプラントド・デンスサブグラフモデルに拡張すること。
• 元の最大尤度問題がNP困難であるにもかかわらず、SDPが多項式時間内で情報理論的回復閾値に達することを確立すること。
• asymptotic scaling $p = a\log n/n$, $q = b\log n/n$ において、SDPの性能に対する厳密な理論的分析を提供すること。
• SDPが、$(\sqrt{a} - \sqrt{b})^2 > 2$ のとき、正確回復に成功することを示し、あらゆるアルゴリズムの根本的限界と一致させること。

提案手法

• ストースティックブロックモデル下でのクラスタ回復問題を、最大尤度推定タスクとして定式化する。
• 最大尤度問題を半定値計画法（SDP）に緩和し、多項式時間での計算を可能にする。
• 確率的集中不等式およびランダム隣接行列の固有値の境界を用いて、SDP解の分析を行う。
• 確率的議論および二項確率変数の尾部確率を用いて、正しいクラスタ割り当ての可能性を評価する。
• 信号対雑音比 $a$ と $b$ に基づく閾値条件を確立し、$(\sqrt{a} - \sqrt{b})^2 > 2$ のときSDPが成功することを示す。
• 条件が満たされない場合の失敗確率を示す確率的下界を構築することで、閾値の必要性を証明する。

実験結果

リサーチクエスチョン

• RQ1 半定値計画法（SDP）は、二値対称ストースティックブロックモデルで正確回復閾値に達することができるか？
• RQ2 線形サイズのクラスタを有するプラントド・デンスサブグラフモデルにおいて、SDP緩和は正確にクラスタを回復できるか？
• RQ3 元の最大尤度問題がNP困難であるにもかかわらず、SDP緩和は情報理論的回復閾値において最適であると言えるか？
• RQ4 SDPが高確率で正確回復を達成するための $a$ と $b$ の明確な条件は何か？
• RQ5 SDPアプローチは、サブ線形減衰領域において回復がプラントドクリーク問題に結びつく計算的障壁を克服できるか？

主な発見

• 二値対称ストースティックブロックモデルにおいて、SDP緩和は、$(\sqrt{a} - \sqrt{b})^2 > 2$ のとき、高確率で正確なクラスタ回復を達成する。
• 本稿は、[1]で提唱された予想を解決した。すなわち、SDPが最適な回復閾値に達することを確認し、情報理論的限界と一致することを示した。
• サイズ $K = \lfloor \rho n \rfloor$ のプラントド・デンスサブグラフモデルにおいても、同じ閾値条件が成立する限り、SDPは正確な回復を達成する。
• 分析から、$a < b$ のとき、孤立頂点や曖昧な近傍構造のため、正確な回復は高確率で不可能であることが明らかになった。
• 証明により、SDP解はノイズに対して頑健であり、信号が弱くても閾値条件が満たされていれば、正しくクラスタを特定できることを示した。
• 結果として、SDPは計算的にも効率的であり、統計的にも最適であり、両モデルにおいて根本的限界に達していることが示された。