[論文レビュー] Supervised Community Detection with Hierarchical Graph Neural Networks

Zhengdao Chen, Xiang Li+1 more|arXiv (Cornell University)|May 23, 2017

Complex Network Analysis Techniques被引用数 3

ひとこと要約

本稿では、エッジライングラフ上の非バックトラッキング作用素を活用することで、教師ありコミュニティ検出の性能を向上させる、階層的グラフニューラルネットワーク（GNN）の新規族を提案する。コミュニティ検出をノード分類タスクとして定式化し、データ駆動型で訓練することで、ストークスティックブロックモデルにおいて信念伝播の性能と同等またはそれを上回り、計算限界を超過する場合でさえも、実世界のグラフにおいても優れた結果を示す。

ABSTRACT

Traditionally, community detection in graphs can be solved using spectral methods or posterior inference under probabilistic graphical models. Focusing on random graph families such as the stochastic block model, recent research has unified both approaches and identified both statistical and computational detection thresholds in terms of the signal-to-noise ratio. By recasting community detection as a node-wise classification problem on graphs, we can also study it from a learning perspective. We present a novel family of Graph Neural Networks (GNNs) for solving community detection problems in a supervised learning setting. We show that, in a data-driven manner and without access to the underlying generative models, they can match or even surpass the performance of the belief propagation algorithm on binary and multi-class stochastic block models, which is believed to reach the computational threshold. In particular, we propose to augment GNNs with the non-backtracking operator defined on the line graph of edge adjacencies. Our models also achieve good performance on real-world datasets. In addition, we perform the first analysis of the optimization landscape of training linear GNNs for community detection problems, demonstrating that under certain simplifications and assumptions, the loss values at local and global minima are not far apart.

研究の動機と目的

• 生成モデルの仮定やスペクトル的手法に依存する従来のコミュニティ検出手法の限界を解消すること。
• 統計的コミュニティ検出の限界と実用的な機械学習手法の間のギャップを、教師ありGNNを用いて埋める。
• 下位のストークスティックブロックモデルの知識がなくても、信念伝播の性能を模倣または上回るGNNアーキテクチャを開発すること。
• 簡略化された仮定の下で、線形GNNの最適化の様相を分析すること。
• 合成的なストークスティックブロックモデルにとどまらず、実世界のグラフデータセットへの一般化を示すこと。

提案手法

• コミュニティ検出をグラフ上のノード分類問題として再定式化し、教師あり学習を可能にする。
• エッジ隣接関係のライングラフ上に非バックトラッキング作用素を組み込んだ階層的GNNアーキテクチャを導入することで、メッセージスティンの効率を高め、過剰スムージングを軽減する。
• ストークスティックブロックモデルから生成された合成データ上で、ノードラベルを教師情報として、エンドツーエンドにGNNを訓練する。
• ライングラフの構造を活用して高階の接続パターンを符号化し、コミュニティの分離を向上させる。
• 簡略化された仮定の下で線形GNNの最適化の様相を分析し、局所的最小値とグローバル最小値の間の損失差が顕著でないことを示す。
• 標準的なコミュニティ検出指標を用いて、二値および多値のストークスティックブロックモデル、および実世界のネットワークに対して、アプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型のGNNアプローチが、計算検出限界に達すると考えられているストークスティックブロックモデルにおいて、信念伝播と同等またはそれ以上の性能を達成できるか？
• RQ2 エッジライングラフ上に非バックトラッキング作用素を組み込むことで、標準的なメッセージスティンメカニズムと比較して、GNNにおけるコミュニティ検出性能がどのように向上するか？
• RQ3 線形GNNの最適化の様相は、コミュニティ検出の文脈でどのような性質を示し、局所的最小値はグローバル最小値と比べてどの程度劣るのか？
• RQ4 提案されたGNNフレームワークは、既知の生成モデルに依存せずに、実世界のグラフデータセットに効果的に一般化できるか？
• RQ5 GNNアーキテクチャの階層的設計は、標準的なGNNと比較して、コミュニティ検出性能をどの程度向上させるか？

主な発見

• 提案されたGNNは、二値および多値のストークスティックブロックモデルにおいて、信念伝播と同等またはそれ以上の性能を達成しており、一部のケースでは計算限界を超過する。
• ライングラフ上に非バックトラッキング作用素を統合することで、特に信号対ノイズ比が低い状況において、コミュニティの区別能力が顕著に向上する。
• 実世界のデータセットに対しても良好な一般化性能を示し、合成ベンチマークを越えた頑健性を確認した。
• 線形GNNの最適化の様相の分析から、局所的最小値がグローバル最小値と顕著に劣らないことが示され、有利な学習ダイナミクスを示唆する。
• 結果から、教師ありGNNが、下位の生成モデルの明示的アクセスがなくても、コミュニティ構造を効果的に学習でき、特定の状況では従来の推論ベースの手法を上回ることを示した。