[論文レビュー] Semidefinite Programs for Exact Recovery of a Hidden Community

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Feb 20, 2016

Sparse and Compressive Sensing Techniques参考文献 23被引用数 14

ひとこと要約

本稿は、コミュニティ内では分布$P$、外では$Q$に従うランダム行列における隠れコミュニティの正確回復のための半定値計画法（SDP）緩和について分析する。SDPは、コミュニティサイズ$K = \omega(n / \log n)$のときかつそのときに限り、情報理論的最適回復を達成する。そうでない場合、$K = o(n / \log n)$では、$K \to \infty$であっても、順序的に劣化する。結果は、ベルヌーイおよびガウスモデルの両方、特に植え付けられた密集部分行列および部分行列局在化問題に適用可能である。

ABSTRACT

We study a semidefinite programming (SDP) relaxation of the maximum likelihood estimation for exactly recovering a hidden community of cardinality $K$ from an $n imes n$ symmetric data matrix $A$, where for distinct indices $i,j$, $A_{ij} \sim P$ if $i, j$ are both in the community and $A_{ij} \sim Q$ otherwise, for two known probability distributions $P$ and $Q$. We identify a sufficient condition and a necessary condition for the success of SDP for the general model. For both the Bernoulli case ($P={ m Bern}(p)$ and $Q={ m Bern}(q)$ with $p>q$) and the Gaussian case ($P=\mathcal{N}(μ,1)$ and $Q=\mathcal{N}(0,1)$ with $μ>0$), which correspond to the problem of planted dense subgraph recovery and submatrix localization respectively, the general results lead to the following findings: (1) If $K=ω( n /\log n)$, SDP attains the information-theoretic recovery limits with sharp constants; (2) If $K=Θ(n/\log n)$, SDP is order-wise optimal, but strictly suboptimal by a constant factor; (3) If $K=o(n/\log n)$ and $K o \infty$, SDP is order-wise suboptimal. The same critical scaling for $K$ is found to hold, up to constant factors, for the performance of SDP on the stochastic block model of $n$ vertices partitioned into multiple communities of equal size $K$. A key ingredient in the proof of the necessary condition is a construction of a primal feasible solution based on random perturbation of the true cluster matrix.

研究の動機と目的

• 一般分布$P$および$Q$を用いた隠れコミュニティモデルにおける、最大尤度推定のSDP緩和が、ランダム行列内での隠れコミュニティの正確回復を達成する条件を特定すること。
• 一般分布$P$および$Q$を用いた隠れコミュニティモデルにおける正確回復の情報理論的限界を同定すること。
• コミュニティサイズ$K$の$n$に対するスケーリングに応じて、植え付けられた密集部分行列および部分行列局在化問題におけるSDPの性能を分析すること。
• SDP成功の十分および必要条件を、プライマル実行可能解の構築とスペクトル解析を用いて確立すること。
• SDP最適性の臨界スケーリング閾値$K = \Theta(n / \log n)$を解明し、これは順序的に最適であるが、定数要因のギャップにより劣化していることを示すこと。

提案手法

• 真のコミュニティ行列が最適解である半定値計画（SDP）としての隠れコミュニティ回復問題を、最大尤度推定量（MLE）のSDP緩和として定式化する。
• データ行列のスペクトル的性質とコミュニティ構造に基づいて、SDP成功の十分条件を導出する。集中不等式および行列摂動理論を用いる。
• 真のクラスタ行列の確率的摂動によるプライマル実行可能解$Y$を構築し、SDP成功の必要条件を証明する。SDPが失敗する場合、$Y$は真の解より高い目的関数値を持つ必要があるという事実を活用する。
• ロヴァーズ＝シュライヴァーおよび和の平方（SOS）緩和フレームワークを用いて、SDPの性能を他の多項式時間法と比較する。
• 行列集中限界（例：チェルノフ型の不等式）を用いて、観測行列$A$とその期待値$\mathbb{E}[A]$との乖離を制御し、高確率での実行可能性および最適性を保証する。
• SDPの双対およびプライマル実行可能条件、特に制約$Y\mathbf{1} = 0$および$Y \succeq 0$を分析し、構築された解$Y = sA + t(\mathbf{J} - \mathbf{I}) + w(\mathbf{d}\mathbf{1}^T + \mathbf{1}\mathbf{d}^T - 2D) + \mathbf{I}$におけるパラメータ$s, t, w$の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般モデルにおける分布$P$および$Q$を用いたSDP緩和が、最大尤度推定の下で隠れコミュニティを正確に回復する条件は何か？
• RQ2 コミュニティサイズ$K$が$n$に対してどのようにスケーリングされるかが、SDPの正確回復における最適性に与える影響は何か？
• RQ3 $K = \Theta(n / \log n)$のとき、SDPは順序的に最適か、それとも情報理論的限界と比較して定数要因のギャップを示すか？
• RQ4 SDPが情報理論的最適性に達する臨界スケーリング閾値$K$は何か？その閾値は鋭い定数を伴うか？
• RQ5 真の解の目的関数値を超えるプライマル実行可能解を構築することで、SDP失敗の必要条件を証明できるか？この構築は$A$のスペクトル的性質にどのように依存するか？

主な発見

• $K = \omega(n / \log n)$ のとき、ベルヌーイおよびガウスモデルの両方において、SDPは情報理論的回復限界を鋭い定数を伴って達成する。
• $K = \Theta(n / \log n)$ のとき、SDPは順序的に最適であるが、定数要因のギャップにより厳密には劣化しており、回復が情報理論的に可能であってもコミュニティを回復できない。
• $K = o(n / \log n)$ かつ $K \to \infty$ のとき、SDPは順序的に劣化しており、多項式時間アルゴリズムと情報理論的限界との間に根本的なギャップがあることを示している。
• 同じ臨界スケーリング$K = \Theta(n / \log n)$は、複数コミュニティを含むストークスティックブロックモデルにおいても、定数要因の範囲でSDPの性能を規定する。
• 真のクラスタ行列の確率的摂動に基づくプライマル実行可能解の構築により、SDP成功の必要条件が導出された。条件が満たされない場合、高確率で真の解の目的関数値を超える。
• 分析により、SDPが万能的に最適ではないことが確認された。スパースな領域（$K = \omega(n / \log n)$）では情報理論的限界と一致するが、$K$が小さい密度領域では、$K \to \infty$であっても失敗する。