[論文レビュー] Supervised Community Detection with Line Graph Neural Networks

Zhengdao Chen, Xiang Li+1 more|arXiv (Cornell University)|May 23, 2017

Complex Network Analysis Techniques参考文献 43被引用数 120

ひとこと要約

この論文は Line Graph Neural Networks (LGNNs) を導入し、GNNs を線グラフと non-backtracking 演算子で拡張して監督付きコミュニティ検出を改善し、いくつかの SBM レジームで belief propagation を達成または上回り、実データセットでも良好な性能を示します。

ABSTRACT

Traditionally, community detection in graphs can be solved using spectral methods or posterior inference under probabilistic graphical models. Focusing on random graph families such as the stochastic block model, recent research has unified both approaches and identified both statistical and computational detection thresholds in terms of the signal-to-noise ratio. By recasting community detection as a node-wise classification problem on graphs, we can also study it from a learning perspective. We present a novel family of Graph Neural Networks (GNNs) for solving community detection problems in a supervised learning setting. We show that, in a data-driven manner and without access to the underlying generative models, they can match or even surpass the performance of the belief propagation algorithm on binary and multi-class stochastic block models, which is believed to reach the computational threshold. In particular, we propose to augment GNNs with the non-backtracking operator defined on the line graph of edge adjacencies. Our models also achieve good performance on real-world datasets. In addition, we perform the first analysis of the optimization landscape of training linear GNNs for community detection problems, demonstrating that under certain simplifications and assumptions, the loss values at local and global minima are not far apart.

研究の動機と目的

• グラフ上の入力分布を横断するノード分類タスクとしてコミュニティ検出を動機づける。
• 多階層グラフ演算子と線グラフを活用して高次のエッジ相互作用を捉えるGNN アーキテクチャを開発する。
• SBM および GBM モデルにおいて、伝統的なスペクトル法や belief propagation に対するデータ駆動の性能向上を示す。
• 線形 GNN の最適化ランドスケープをコミュニティ検出で分析する。
• SNAP の実世界ネットワークへの適用性を示し、学習表現について議論する。
• 非バックトラッキング演算子を介したエッジ指向情報フローが検出性能に与える影響を評価する。

提案手法

• ノード特徴量のためのグラフ演算子ファミリー {I, D, A, AJ} を用いた多層 GNN を定義する。
• GNN を Line graph および non-backtracking 演算子で拡張して LGNN を作成し、エッジ情報の有向的な流れを可能にする。
• インシデンス行矩陣を介したノード状態とエッジ状態の間の相互作用を用いて LGNN を構築し、各層でノードとエッジの間の通信を行えるようにする。
• ラベル対称性を考慮するため、コミュニティラベルに対して置換不変な損失を定義する。
• 安定性のためインスタンス正規化を用い、さまざまなサイズのグラフ上で誤差逆伝搬法によってエンドツーエンドで学習する。
• SBM、GBM、SNAP データセット上で、GNN および LGNN の変種（線形 LGNN を含む）を BP、スペクトル法、GAT と比較する。

実験結果

リサーチクエスチョン

• RQ1 supervisied GNNs は疎なグラフ上で belief propagation を近似または上回ることができるか。
• RQ2 線グラフベースの non-backtracking 情報を取り入れると、 hard な計算と統計のギャップを含む SBM/GBM レジームで検出性能が改善されるか。
• RQ3 オーバーラップや不均衡なコミュニティを含む実データセットで、GNN ベースの手法は従来のモデルと比べてどのように性能を発揮するか。
• RQ4 線形（非活性化）GNN が競争力のある性能を達成する上での役割は何か、そしてその最適化ランドスケープはどうなるか。
• RQ5 グラフのサイズが異なるタスクにおいて、置換不変損失が学習にどのような影響を与えるか。

主な発見

モデル	平均重なり	標準偏差
GNN	0.18	0.04
LGNN	0.21	0.05
LGNN-L	0.18	0.04
LGNN-S	0.18	0.04
GAT	0.16	0.04
BP	0.14	0.02

• GNNs および LGNNs は、 hard レジーム内の binary SBMs および multi-class SBMs で belief propagation に匹敵するまたはそれを上回る。
• Linear LGNNs は BP に近い性能を達成し、Bethe Hessian によるスペクトル近似と一貫している。
• エッジ情報として non-backtracking を用いる LGNN は、対称 LGNN および GAT をいくつかの SBM 実験で上回る。
• LGNN は GBM および実データの SNAP データセットでも高い性能を維持し、合成モデルを超えた実用性を示す。
• 線形 GNN の学習ランドスケープは、特定の前提の下で良性であり、グラフサイズが大きくなるにつれて局所最小がグローバル最小に近づく。