[論文レビュー] Combining Neural Networks with Personalized PageRank for Classification on Graphs

Johannes Klicpera, Aleksandar Bojchevski+1 more|arXiv (Cornell University)|Oct 14, 2018

Advanced Graph Neural Networks被引用数 52

ひとこと要約

本稿では、大規模で調整可能な近傍を活用することで、グラフ分類の性能を向上させるために、ニューラルネットワークとパーソナライズドページランクを組み合わせたPPNPおよびAPPNPを提案する。標準的なメッセージパッシングをページランクに基づく伝搬に置き換えることで、同等または低い訓練時間およびパrameter数で最先端の性能を達成し、最近のGCNに類似したモデルを包括的な評価において上回る。

ABSTRACT

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, for classifying a node these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood is hard to extend. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct a simple model, personalized propagation of neural predictions (PPNP), and its fast approximation, APPNP. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be easily combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification in the most thorough study done so far for GCN-like models. Our implementation is available online.

研究の動機と目的

• 既存のグラフニューラルネットワークが数ステップ内のノードしか考慮しないという受容 field の制限を解消すること。
• メッセージパッシングに用いる近傍を拡大することで、グラフ構造データにおける分類性能を向上させること。
• 柔軟で大規模な近傍集約を可能にしつつ、低コストの訓練時間とパrameter数を維持する手法を開発すること。
• 任意のニューラルネットワークアーキテクチャと互換性を持つフレームワークを構築すること。
• 最近のGCNベースのモデルと比較する包括的な実験的評価を提供すること。

提案手法

• グラフ畳み込みネットワーク（GCN）とパーソナライズドページランクの間の関係を導出し、新しい伝搬スキームを設計する。
• パーソナライズドページランク行列を全量用いて予測をグラフ全体に伝搬する、パーソナライズド・プロパゲーション・オブ・ニューラル・プロデクション（PPNP）を導入する。
• 計算コストを削減するため、全ページランク行列を固定点反復に置き換えた高速近似版であるAPPNPを提案する。
• 伝搬ステップをニューラルネットワークフレームワークに統合し、任意のニューラルネットワークアーキテクチャとエンドツーエンドで訓練可能にする。
• パーソナライズドページランクの定常分布を活用することで、大規模で調整可能な受容 field を実現する。
• バックプロパゲーションを用いた標準的な訓練により、ページランクの定式化に起因する伝搬ステップの微分可能化を実現する。

実験結果

リサーチクエスチョン

• RQ1 標準的なGCNのメッセージパッシングよりも、より大きな柔軟性のある近傍を使用することで、グラフニューラルネットワークモデルがより優れた性能を達成できるか？
• RQ2 標準的なメッセージパッシングをパーソナライズドページランクに基づく伝搬に置き換えることで、半教師ありノード分類タスクにおける一般化性能が向上するか？
• RQ3 提案手法は、最先端のGCNに類似したモデルを凌駆する一方で、低コストの訓練時間とパrameter数を維持できるか？
• RQ4 既存の手法と比較して、近傍サイズおよびグラフサイズの変化に伴うスケーリング特性はいかがなっているか？
• RQ5 構造やスパarsityが異なる多様なグラフデータセットにおいて、本手法は頑健かつ有効に機能するか？

主な発見

• PPNPおよびAPPNPは、複数のベンチマークデータセットにおいて半教師ありノード分類で最先端の性能を達成した。
• 本稿で提示された最も包括的な評価において、最近提案された複数のGCNに類似したモデルを上回った。
• PPNPおよびAPPNPの訓練時間は、より大きな近傍を用いているにもかかわらず、以前のモデルと同等または速い。
• PPNPおよびAPPNPのパrameter数は、競合モデルと同等または少ないため、効率性が保証された。
• APPNPはPPNPに非常に近い性能を達成しながらも、著しく高速であるため、大規模グラフに適している。
• パーソナライズドページランクを活用することで、長距離依存性を効果的に捉えることにより、強力な一般化性能を示した。