[論文レビュー] Local Algorithms for Block Models with Side Information

Elchanan Mossel, Jiaming Xu|arXiv (Cornell University)|Aug 10, 2015

Machine Learning and Algorithms参考文献 42被引用数 3

ひとこと要約

本稿は、側情報（相関のある頂点ラベル）が利用可能な場合、局所的アルゴリズム、特に局所近傍における信念伝播が、スパースなストーキャスティックブロックモデルにおけるコミュニティ検出において最適性能を達成することを示している。側情報が存在しない対称的ブロックモデルでは局所的アルゴリズムが最適でないのに対し、本稿の結果では、側情報の存在により、局所的手法が3つの異なるパrameter領域において、正しいラベル付き頂点の期待割合を最大化可能となる。

ABSTRACT

There has been a recent interest in understanding the power of local algorithms for optimization and inference problems on sparse graphs. Gamarnik and Sudan (2014) showed that local algorithms are weaker than global algorithms for finding large independent sets in sparse random regular graphs. Montanari (2015) showed that local algorithms are suboptimal for finding a community with high connectivity in the sparse Erdős-Rényi random graphs. For the symmetric planted partition problem (also named community detection for the block models) on sparse graphs, a simple observation is that local algorithms cannot have non-trivial performance. In this work we consider the effect of side information on local algorithms for community detection under the binary symmetric stochastic block model. In the block model with side information each of the $n$ vertices is labeled $+$ or $-$ independently and uniformly at random; each pair of vertices is connected independently with probability $a/n$ if both of them have the same label or $b/n$ otherwise. The goal is to estimate the underlying vertex labeling given 1) the graph structure and 2) side information in the form of a vertex labeling positively correlated with the true one. Assuming that the ratio between in and out degree $a/b$ is $Θ(1)$ and the average degree $ (a+b) / 2 = n^{o(1)}$, we characterize three different regimes under which a local algorithm, namely, belief propagation run on the local neighborhoods, maximizes the expected fraction of vertices labeled correctly. Thus, in contrast to the case of symmetric block models without side information, we show that local algorithms can achieve optimal performance for the block model with side information.

研究の動機と目的

• 頂点ラベルに関する側情報が利用可能な場合に、局所的アルゴリズムがコミュニティ検出で最適性能を達成できるかどうかを調査すること。
• 側情報が存在しない場合に通常は失敗する局所的手法とグローバル手法との間のギャップを、スパースなストキャスティックブロックモデルにおいて解消すること。
• 信念伝播が局所近傍で実行される際に、正しいラベル付き頂点の割合を最大化するパrameter領域を同定すること。
• 大次数極限における信念伝播の漸近的性能を、密度推移とガウス近似の手法を用いて分析すること。

提案手法

• 二値対称なストキャスティックブロックモデルに側情報を組み込んだ形式的定式化：各頂点は独立に+または−にラベル付けされ、同じラベルの間では確率a/n、異なるラベルの間では確率b/nで辺が生成される。
• グラフ構造と側情報を両方利用して、半径o(log n)の局所近傍における信念伝播を適用し、頂点ラベルを推定する。
• メッセージの分散と信念更新ダイナミクスを導出するため、ガウス近似を用いた密度推移を用いる。
• 再帰の固定点を分析することで、漸近的期待ラベル正解率を特徴付ける。
• 対称性とモーメントマッチングの議論を用いて、特定のパラメータ領域において信念伝播の期待性能が理論的最適値と一致することを証明する。
• 大次数極限（a→∞）における性能の閉形式表現を、分散再帰の固定点から導出する。

実験結果

リサーチクエスチョン

• RQ1 側情報が存在する場合に、局所的アルゴリズムがコミュニティ検出で最適性能を達成できるか？
• RQ2 信念伝播が局所近傍で実行される場合、どのパラメータ領域で正しいラベル付き頂点の期待割合が最大化されるか？
• RQ3 側情報の存在が、スパースなブロックモデルにおける局所的アルゴリズムの根本的限界をどのように変化させるか？
• RQ4 大次数極限における信念伝播の漸近的性能は何か？ また、最適達成精度とどのように関係するか？
• RQ5 性能の上界と下界がどのような条件下で一致し、局所的アルゴリズムの最適性が示されるか？

主な発見

• |a−b|<2 かつすべての0<α<1/2の下で、側情報を有する対称的ブロックモデルにおいて、局所近傍における信念伝播は最適性能を達成する。
• ある定数Cに対して(a−b)²>C(a+b) かつすべての0<α<1/2の下でも、最適性が達成される。
• すべてのa,bに対して、ラベル誤り確率がα∗∈(0,1/2)以下であれば、信念伝播は最適である。
• 大次数極限（a→∞）において、正しいラベル付き頂点の期待割合は1−𝔼[Q((v∗+U)/√v∗)]に収束する。ここでv∗はv=μ²h(v)/4の最小固定点である。
• |μ|<2 または α≤α∗のとき、信念伝播の性能境界とグローバル最適値が一致し、固定点v∗が一意でかつアルゴリズムが最適であることが示される。
• 信念伝播のメッセージ分散再帰は固定点に収束し、性能の上界と下界の差が極限で消えるため、最適性が確認される。