[論文レビュー] Hierarchical Message-Passing Graph Neural Networks

Zhiqiang Zhong, Cheng–Te Li+1 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Graph Neural Networks参考文献 42被引用数 7

ひとこと要約

本稿では、コミュニティ検出を用いて階層的スーパーグラフ構造を構築することにより、長距離のメッセージパッシングを強化し、マルチスケールの意味を捉えるフレームワークである階層的メッセージパッシンググラフニューラルネットワーク（HMGNNs）を提案する。提案されたHC-GNNモデルは、誘導的・非誘導的・少数ショット学習設定下で、9つのデータセットにおいてノード分類、リンク予測、コミュニティ検出の各タスクで最先端の性能を達成した。

ABSTRACT

Graph Neural Networks (GNNs) have become a prominent approach to machine learning with graphs and have been increasingly applied in a multitude of domains. Nevertheless, since most existing GNN models are based on flat message-passing mechanisms, two limitations need to be tackled: (i) they are costly in encoding long-range information spanning the graph structure; (ii) they are failing to encode features in the high-order neighbourhood in the graphs as they only perform information aggregation across the observed edges in the original graph. To deal with these two issues, we propose a novel Hierarchical Message-passing Graph Neural Networks framework. The key idea is generating a hierarchical structure that re-organises all nodes in a flat graph into multi-level super graphs, along with innovative intra- and inter-level propagation manners. The derived hierarchy creates shortcuts connecting far-away nodes so that informative long-range interactions can be efficiently accessed via message passing and incorporates meso- and macro-level semantics into the learned node representations. We present the first model to implement this framework, termed Hierarchical Community-aware Graph Neural Network (HC-GNN), with the assistance of a hierarchical community detection algorithm. The theoretical analysis illustrates HC-GNN's remarkable capacity in capturing long-range information without introducing heavy additional computation complexity. Empirical experiments conducted on 9 datasets under transductive, inductive, and few-shot settings exhibit that HC-GNN can outperform state-of-the-art GNN models in network analysis tasks, including node classification, link prediction, and community detection. Moreover, the model analysis further demonstrates HC-GNN's robustness facing graph sparsity and the flexibility in incorporating different GNN encoders.

研究の動機と目的

• 平坦なメッセージパッシングGNNが長距離依存関係や高次のグラフ意味を捉えることの限界を解消すること。
• 階層的スーパーグラフ構造を用いることで、階層内および階層間のメッセージパッシングを実装し、効率的な長距離情報伝達を可能にすること。
• コミュニティや研究分野の構造といったミクロおよびマクロレベルのグラフ意味を、ノード表現に統合すること。
• さまざまなGNNエンコーダーおよび階層的コミュニティ検出アルゴリズムと互換性を持つ柔軟なフレームワークを設計すること。
• グラフのスパarsity状態下でも安定性を示し、誘導的・非誘導的・少数ショット学習設定にわたる一般化性能を実証すること。

提案手法

• 階層的コミュニティ検出アルゴリズム（例：LouvainやGirvan–Newman）を用いて、ノードを再帰的にコミュニティにグループ化することで階層的スーパーグラフを構築する。
• 各スーパーグラフレベル内で階層内メッセージパッシングを導入し、スーパーノード間の局所的情報を集約する。
• 階層間のメッセージパッシングを実装し、ショートカット接続を通じて長距離情報伝達を可能にする。
• 各スーパーノード内でのノードレベル表現学習に、主なGNNエンコーダー（例：GCN、GAT、GCNII）を用いる。
• まずレベル内、次にレベル間の2段階のメッセージパッシング機構を採用し、局所的およびグローバルな意味を両立させる。
• GNNエンコーダーや階層構造生成手法の入れ替えを可能にすることで、モデルの柔軟性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 平坦なメッセージパッシングと比較して、階層的メッセージパッシング機構はGNNにおける長距離情報集約を改善できるか？
• RQ2 階層的スーパーグラフを用いてミクロおよびマクロレベルの意味を統合することで、ノード表現学習が向上するか？
• RQ3 グラフのスパarsity（エッジ削除によるプライバシー要因やノイズ）下でHC-GNNはどのように性能を発揮するか？
• RQ4 GCNIIのような高度なGNNエンコーダーとHC-GNNを効果的に組み合わせられるか？
• RQ5 誘導的・非誘導的・少数ショット学習設定のすべてにおいて、階層的メッセージパッシングフレームワークは頑健か？

主な発見

• HC-GNNは、ノード分類、リンク予測、コミュニティ検出の各タスクにおいて、9つのベンチマークデータセットで最先端の性能を達成した。
• Cora、Citeseer、PubMedでは、HC-GNNにGCNIIを組み合わせた場合、それぞれMicro-F1スコアが0.841、0.734、0.816を記録し、GCNII単体を上回った。
• 誘導的ノード分類設定下で、CoraおよびCiteseerにおいてHC-GNNはGCN、GAT、GCNIIを3.2–4.3%上回るMicro-F1スコアを達成した。
• エッジ削除率10–50%のスパース状態下でも、HC-GNNはベースラインより優れた性能を維持し、エッジ損失に対する頑健性を示した。
• Louvainベースの階層構造を用いたHC-GNNはGirvan–Newmanバージョンを上回った。これは、階層構造の品質が性能に顕著に影響することを示している。
• アブレーションスタディにより、GCNIIのような高度なGNNエンコーダーがHC-GNNの階層的メッセージパッシングから恩恵を受けることが確認され、フレームワークの互換性と有効性が裏付けられた。