[論文レビュー] Graph Partition Neural Networks for Semi-Supervised Classification

Renjie Liao, Marc Brockschmidt+4 more|arXiv (Cornell University)|Mar 16, 2018

Advanced Graph Neural Networks参考文献 38被引用数 45

ひとこと要約

GPNN は、Graph Partition Neural Networks (GPNN) は大規模グラフをサブグラフに分割し、ローカル（サブグラフ内）とグローバル（サブグラフ間）伝播を交互に行うことで、半教師ありノード分類において潜在的により少ない伝播ステップで競争力のある結果を達成するよう GNN を拡張します。GPNNs は高速な分割を導入し、非常に大規模なグラフへとスケールします。

ABSTRACT

We present graph partition neural networks (GPNN), an extension of graph neural networks (GNNs) able to handle extremely large graphs. GPNNs alternate between locally propagating information between nodes in small subgraphs and globally propagating information between the subgraphs. To efficiently partition graphs, we experiment with several partitioning algorithms and also propose a novel variant for fast processing of large scale graphs. We extensively test our model on a variety of semi-supervised node classification tasks. Experimental results indicate that GPNNs are either superior or comparable to state-of-the-art methods on a wide variety of datasets for graph-based semi-supervised classification. We also show that GPNNs can achieve similar performance as standard GNNs with fewer propagation steps.

研究の動機と目的

• グラフニューラルネットワークを用いた極めて大規模なグラフ上での学習課題に対する動機づけと解決策を提示する。
• サブグラフ内の情報伝播とサブグラフ間の情報伝播を組み合わせた分割ベースの伝播スケジュールを導入する。
• 大規模グラフ対応の高速でスケーラブルなグラフ分割手法を開発する。
• 多様な半教師付きノード分類ベンチマークで GPNN を評価し、最先端手法と比較する。

提案手法

• 入力グラフを K 個の互いに分割されたサブグラフとカット集合に分割する。
• カットセットを横断するサブグラフ間の伝播と並列なサブグラフ内同期伝播を交互に行う。
• Graph Partition Propagation Schedule (Alg. 1) を用い、サブグラフ内ステップ TS とサブグラフ間ステップ TC を用いる。
• スケーラブルなグラフ分割のための高速な Modified Multi-seed Flood Fill partition アルゴリズム (Alg. 2) を提案する。
• 初期ノードラベルを embedding-input または feature-input 表現で扱う。
• 性能向上のため、入力特徴を学習済みの最終埋め込みと連結することが可能。

実験結果

リサーチクエスチョン

• RQ1 GPNN は、サイズの異なるグラフに対して、最先端手法と比較して競争力のある半教師付きノード分類性能を達成できるか？
• RQ2 異なるグラフ分割戦略（スペクトル法 vs multi-seed flood fill）が大規模グラフでの精度と実行時間にどう影響するか？
• RQ3 パーティションベースの伝播スケジュールは、完全同期スケジュールおよび逐次スケジュールと比較して、精度と計算/メモリ効率の点でどうなるか。
• RQ4 提案された分割アプローチを用いて、現実的なトレーニング時間とメモリで GNN を非常に大規模なグラフへ拡張することは現実的か？

主な発見

• GPNN は citation networks および knowledge graphs（Citeseer、Cora、Pubmed、NELL）で最先端手法と同等またはそれを上回る。
• DIEL 遠隔監督タスクでは、比較対象手法の中で最良の recall@k（52.11）を達成。
• 改良された multi-seed flood fill 分割法は、スペクトル法より大規模グラフに対して高速でスケーラブル、かつ精度も競争力がある。
• GPNN は従来の GNN の性能と同等を、より少ない伝播ステップで達成でき、大規模グラフでの効率向上を可能にする。