[論文レビュー] Personalized Embedding Propagation: Combining Neural Networks on Graphs with Personalized PageRank.

Johannes Klicpera, Aleksandar Bojchevski+1 more|arXiv (Cornell University)|Oct 14, 2018

Advanced Graph Neural Networks被引用数 21

ひとこと要約

本稿では、グラフニューラルネットワークとパーソナライズドページランクを組み合わせることで、ノード分類に適した大規模で調整可能な近傍を実現する、Personalized Embedding Propagation (PEP) およびその近似手法 PEP_A を提案する。GCNとページランクの間の数学的関係を活用することで、従来の手法と同等またはそれ以上の高速な学習と少ないパラメータ数で、半教師ありグラフ分類において最先端の性能を達成する。

ABSTRACT

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood cannot be easily extended. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct personalized embedding propagation (PEP) and its approximation, PEP$_ ext{A}$. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification on multiple graphs in the most thorough study done so far for GCN-like models.

研究の動機と目的

• 既存のグラフニューラルネットワークが数ステップ内のノードのみを考慮するという制限を解決すること。
• グラフ内の遠く離れたノードを含めることが可能な、スケーラブルで柔軟な近傍集約メカニズムを構築すること。
• 既存のGCNベースのモデルと比較して、学習時間とパラメータ数を削減しつつ、モデル性能を維持または向上させること。
• 任意のニューラルネットワークアーキテクチャと互換性を持つ汎用的な伝搬フレームワークを構築すること。
• 包括的なベンチマークスタディを通じて、多様なグラフデータセットにおいて本手法の優位性を実証すること。

提案手法

• グラフ畳み込みネットワーク（GCN）とパーソナライズドページランクの理論的関係を導出し、新たなメッセージパッシングメカニズムを設計する。
• ノード特徴の集約重みとしてパーソナライズドページランクベクトルを用いる、パーソナライズド埋め込み伝搬（PEP）方式を設計する。
• 計算コストを低減しながら性能を保持する、PEPの効率的近似手法 PEP_A を導入する。
• ページランクにおける学習可能なパーソナライズーションパラメータを採用し、有効な近傍サイズを動的に制御する。
• 任意のグラフ上でのニューラルネットワークアーキテクチャと組み合わせられる微分可能レイヤーとして PEP メカニズムを統合する。
• パーソナライズドページランクの閉形式解を活用し、大規模グラフ上で高速かつスケーラブルな計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 パーソナライズドページランクに基づく集約メカニズムは、GCNに類似したモデルの受容 field を局所的近傍を超えて拡大できるか？
• RQ2 提案手法 PEP は、半教師ありグラフ学習ベンチマークにおいて、既存のGCNベースのモデルよりも高い分類精度を達成できるか？
• RQ3 有効な近傍サイズを拡大する中で、PEP は学習時間を維持または短縮し、パラメータ数を削減できるか？
• RQ4 PEP の性能は、さまざまなグラフデータセットおよびアーキテクチャにおいてどのようにスケーリングするか？
• RQ5 PEP は、アーキテクチャの変更なしに、多様なニューラルネットワークアーキテクチャとどれほど統合可能か？

主な発見

• 本稿の評価は、これまでで最も包括的なものであり、複数のベンチマークグラフにおいて、最近提案された複数のGCNに類似したモデルを上回る性能を示した。
• 広範かつ調整可能な受容 field を備えることにより、半教師ありノード分類タスクで最先端の性能を達成した。
• 広い近傍を用いるにもかかわらず、PEP は既存のモデルと同等またはそれ以下の学習時間を維持した。
• PEP のパラメータ数は、競合モデルと同等またはそれ以下であり、効率性を示している。
• 近似手法 PEP_A は、PEP の大部分の性能を保持しつつ、計算オーバーヘッドを顕著に削減した。
• 本手法は汎用的であり、グラフ構造データに適用可能な任意のニューラルネットワークアーキテクチャとスムーズに統合可能である。