[論文レビュー] PushNet: Efficient and Adaptive Neural Message Passing

Julian Busch, Jiaxing Pi+1 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Graph Neural Networks参考文献 38被引用数 8

ひとこと要約

PushNetは、近似個人化ページランク（APPR）を用いて情報伝達に適したエッジを動的に選択することで、非同期的かつ適応的なニューラルメッセージパッシングフレームワークを提案する。これにより、ノードに適応した受容 field を実現する。5つの実世界データセットにおける半教師ありノード分類タスクで最先端の性能を達成し、一部のケースでは精度が向上するとともに実行時間が短縮され、統計的に有意に既存手法を上回る。

ABSTRACT

Message passing neural networks have recently evolved into a state-of-the-art approach to representation learning on graphs. Existing methods perform synchronous message passing along all edges in multiple subsequent rounds and consequently suffer from various shortcomings: Propagation schemes are inflexible since they are restricted to $k$-hop neighborhoods and insensitive to actual demands of information propagation. Further, long-range dependencies cannot be modeled adequately and learned representations are based on correlations of fixed locality. These issues prevent existing methods from reaching their full potential in terms of prediction performance. Instead, we consider a novel asynchronous message passing approach where information is pushed only along the most relevant edges until convergence. Our proposed algorithm can equivalently be formulated as a single synchronous message passing iteration using a suitable neighborhood function, thus sharing the advantages of existing methods while addressing their central issues. The resulting neural network utilizes a node-adaptive receptive field derived from meaningful sparse node neighborhoods. In addition, by learning and combining node representations over differently sized neighborhoods, our model is able to capture correlations on multiple scales. We further propose variants of our base model with different inductive bias. Empirical results are provided for semi-supervised node classification on five real-world datasets following a rigorous evaluation protocol. We find that our models outperform competitors on all datasets in terms of accuracy with statistical significance. In some cases, our models additionally provide faster runtime.

研究の動機と目的

• GNNにおける同期的メッセージパッシングの限界、すなわち柔軟性に欠けるkホップ近傍と長距離依存関係の不十分なモデル化を是正すること。
• すべての隣接ノードではなく、関連するエッジに焦点を当てたより効率的で適応的なメッセージパッシングメカニズムの開発。
• さまざまなサイズの近傍からの特徴を統合することで、マルチスケール表現学習を可能にすること。
• 訓練効率を維持または向上させつつ、半教師ありノード分類において優れた性能を達成すること。

提案手法

• 情報は、収束するまで最も関連性の高いエッジに沿ってのみ伝達される非同期的プッシュベースのメッセージパッシング方式を採用する。
• 近似個人化ページランク（APPR）から導出されたスパarsなノードに適応した近傍集合に対して、1回の同期的メッセージパッシングイテレーションと同等のプロセスとして定式化する。
• 個人化された重要度スコアに従って近傍選択が行われ、意味のある局所構造を捉えるノードに適応した受容 field を実現する。
• 複数の近傍サイズを、合算（sum）や最大値（max）などの集約関数を用いて統合し、マルチスケール表現を学習する。
• 特徴変換やアテンションメカニズムを組み込んだ変種（例：PushNet-PTP および PushNet-TPP）により、異なるインダクティブバイアスをサポートする。
• APPR計算は1回の事前処理として扱われ、高速な推論と効率的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的な同期的手法と比較して、非同期的メッセージパッシングメカニズムはグラフ上の表現学習をどのように改善するか？
• RQ2 APPRに基づく動的で適応的な近傍選択は、モデルの性能と効率にどのように影響を与えるか？
• RQ3 近傍表現のマルチスケール集約は、予測精度をどの程度向上させるか？
• RQ4 局所性（α）やスパarsity（ε）などのハイパーパrameterは、モデルの性能と実行時間にどのように影響を与えるか？
• RQ5 提案されたフレームワークは、計算効率を維持したまま、半教師ありノード分類で最先端の結果を達成できるか？

主な発見

• PushNetは、すべての5つのベンチマークデータセットにおいて、統計的に有意な優位性を示しながら、すべての競合手法を上回る精度を達成し、一貫した優位性を示した。
• Cora および CiteSeer において、複数の α 値に対して合算集約を用いた PushNet が、最高の精度と最小の分散を達成し、単一の α 値設定よりも優れた性能を示した。
• PushNet-PP は、すべてのモデルの中で2番目に高速な実行時間であった。一方、PushNet-PTP は、速度と精度の良好なトレードオフを実現した。
• スパarsityしきい値 ε を高めることで実行時間が向上し、精度の低下はわずかであった。これは、ε を安全に増加させることでメモリと計算コストを削減できる可能性を示唆している。
• アブレーションスタディの結果、合算集約によるマルチスケール集約は、ロバストネスと性能の向上に寄与したが、最大値集約は精度向上に寄与せず、実行時間が増加した。