[論文レビュー] Contextual Stochastic Block Models

Yash Deshpande, Andrea Montanari+2 more|arXiv (Cornell University)|Jul 23, 2018

Complex Network Analysis Techniques被引用数 30

ひとこと要約

本稿では、スパースなネットワークと高次元のノード共変量から、同時に潜在コミュニティ構造を推定する文脈付き確率的ブロックモデルを提案する。情報理論的上限を厳密なガウス比較不等式を用いて証明し、その上限に達する信念伝播に基づくアルゴリズムを提示することで検証する。

ABSTRACT

We provide the first information theoretic tight analysis for inference of latent community structure given a sparse graph along with high dimensional node covariates, correlated with the same latent communities. Our work bridges recent theoretical breakthroughs in the detection of latent community structure without nodes covariates and a large body of empirical work using diverse heuristics for combining node covariates with graphs for inference. The tightness of our analysis implies in particular, the information theoretical necessity of combining the different sources of information. Our analysis holds for networks of large degrees as well as for a Gaussian version of the model.

研究の動機と目的

• グラフ構造と高次元共変量を統合したコミュニティ検出における理論的理解のギャップを埋める。
• グラフデータと共変量データの両方が利用可能な状況におけるコミュニティ検出の情報理論的タイトな解析を提供する。
• 最適な推定を達成するためには、補完的である情報源を統合する必要があることを確立する。
• 理論的閾値を信念伝播に基づくアルゴリズムと数値実験により検証する。
• モデルのガウス極限に拡張し、新規のガウス比較不等式を用いた厳密な解析を可能にする。

提案手法

• グラフのエッジと共変量が、潜在コミュニティラベルを条件として独立に生成される統計的モデルを提案する。
• クラスタ内・クラスタ間の接続確率をパラメータとする確率的ブロックモデルを用いてエッジ確率をモデル化する。
• 共変量を、潜在コミュニティラベルとi.i.d.ガウスノイズの線形結合としてモデル化する。
• 統計物理学のヒューリスティクスを用いて、コミュニティ回復の鋭い閾値を予測する。
• 新規のガウス比較不等式を用いて、ガウス極限においてその閾値を厳密に証明する。
• スケーラビリティと収束性を考慮した線形化された更新式を用いた、近似メッセージパッシングアルゴリズムを開発する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造と高次元共変量の両方が利用可能な状況において、潜在コミュニティを検出するための情報理論的限界は何か？
• RQ2 グラフデータと共変量データを組み合わせることで、単独で使用する場合に比べて検出性能がどのように向上するか？
• RQ3 統計物理学が予測する理論的閾値は、ガウス極限モデルにおいて厳密に検証可能か？
• RQ4 信念伝播に基づくアルゴリズムは、実際の応用において情報理論的閾値に達するか？
• RQ5 大次数極限において、ネットワークサイズと共変量次元の増大に伴い、結果はどのようにスケーリングするか？

主な発見

• 本稿では、グラフと共変量の両方を用いたモデルにおけるコミュニティ検出の鋭い情報理論的閾値を確立し、それが必要十分であることを証明した。
• モデルのガウス極限において、著者らは新規のガウス比較不等式を用いて、閾値の予測を厳密に検証した。
• 信念伝播に基づくアルゴリズムは、実験的に予想される情報理論的閾値に達しており、実用的妥当性を示した。
• 理論的解析により、有限次数のモデルがグラフ密度が増加するに従い、ガウス極限の予測に収束することが示された。
• 解析により、最適な検出を達成するためには、グラフと共変量の両方の情報を統合する必要があることが情報理論的に確認された。
• 線形化された近似メッセージパッシングアルゴリズムは、スケーラブルで高精度な推定手法を提供し、メッセージパッシングのヒューリスティクスと線形近似から導出された更新式を有する。