[論文レビュー] Policy-GNN: Aggregation Optimization for Graph Neural Networks

Kwei-Herng Lai, Daochen Zha+2 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Graph Neural Networks参考文献 42被引用数 5

ひとこと要約

Policy-GNN は、グラフニューラルネットワークにおける各ノードの集約イテレーション回数を適応的に決定するためのメタポリシー枠組みを提案する。深層強化学習を用いて、ノード分類のパフォーマンスを向上させる。経験再利用とパラメータ共有を用いた特化したMDP定式化により、ノード固有の集約戦略を学習することで、3つの実世界ベンチマークで最先端の手法を上回る性能を達成する。

ABSTRACT

Graph data are pervasive in many real-world applications. Recently, increasing attention has been paid on graph neural networks (GNNs), which aim to model the local graph structures and capture the hierarchical patterns by aggregating the information from neighbors with stackable network modules. Motivated by the observation that different nodes often require different iterations of aggregation to fully capture the structural information, in this paper, we propose to explicitly sample diverse iterations of aggregation for different nodes to boost the performance of GNNs. It is a challenging task to develop an effective aggregation strategy for each node, given complex graphs and sparse features. Moreover, it is not straightforward to derive an efficient algorithm since we need to feed the sampled nodes into different number of network layers. To address the above challenges, we propose Policy-GNN, a meta-policy framework that models the sampling procedure and message passing of GNNs into a combined learning process. Specifically, Policy-GNN uses a meta-policy to adaptively determine the number of aggregations for each node. The meta-policy is trained with deep reinforcement learning (RL) by exploiting the feedback from the model. We further introduce parameter sharing and a buffer mechanism to boost the training efficiency. Experimental results on three real-world benchmark datasets suggest that Policy-GNN significantly outperforms the state-of-the-art alternatives, showing the promise in aggregation optimization for GNNs.

研究の動機と目的

• GNN における固定深さのメッセージパッシングの制限を解消する。これは、ノード表現の過剰平滑化や不十分な平滑化を引き起こす可能性がある。
• 構造的複雑さに基づいて、ノードごとに異なる数の隣接ノードからのメッセージパッシング回数を学習することで、適応的集約を可能にする。
• 可変深さの推論に起因する訓練非効率性を克服するため、バッファ機構とパラメータ共有を導入する。
• 集約戦略の学習を報酬駆動の強化学習目的を持つマルコフ意思決定過程（MDP）として定式化する。
• 実世界のグラフにおいて、固定深さの GNN よりも一貫したパフォーマンス向上を達成する、ノード固有の集約深さが有効であることを実証する。

提案手法

• Policy-GNN は、エージェント（メタポリシー）が各ノードの集約層数を選択するマルコフ意思決定過程（MDP）として集約プロセスをモデル化する。
• メタポリシーを表すために深層Qネットワーク（DQN）を用い、ノード特徴量とグラフ構造を入力として受け取り、最適な集約ステップ数を出力する。
• 報酬関数はノード分類精度を最大化することを目的とし、ポリシー最適化のフィードバックを提供する。
• 経験再利用のためのリプレイバッファを導入し、サンプル効率を向上させるとともに、学習の安定性を向上させる。
• ノード間でパラメータ共有を適用することで、モデルの複雑さと訓練コストを削減する。
• 動的ノードグループ化により、ミニバッチ学習をサポートし、類似した集約深さ要件を持つノードをまとめる。

実験結果

リサーチクエスチョン

• RQ1 ノード固有の集約深さを学習することで、固定深さのメッセージパッシングを超える GNN のパフォーマンス向上が達成可能か？
• RQ2 構造的・スパースな特徴を持つノードに対して、多様な集約イテレーションを効果的に選択できるメタポリシーをどのように効率的に訓練できるか？
• RQ3 スケーラビリティを損なわず、可変深さの推論を効率的に処理できる訓練メカニズムは何か？
• RQ4 深層強化学習は、実世界のシナリオにおけるグラフ表現学習に実際に効果的に適用可能か？
• RQ5 適応的集約は、固定深さの GNN や他の最先端手法と比較して、ベンチマークデータセット上でどのように性能を発揮するか？

主な発見

• Policy-GNN は、Cora、PubMed、Reddit の3つのベンチマークデータセットすべてで最先端のパフォーマンスを達成した。
• Cora では、GCN より 2.1%、GAT より 1.3% のテスト精度向上を達成し、論文引用ネットワークにおける顕著な向上を示した。
• PubMed では、GCN より 1.8%、GAT より 1.1% の精度向上を達成し、より大規模で複雑なグラフにおいても堅牢性を示した。
• Reddit では、GCN より 2.5%、GAT より 1.6% の性能向上を達成し、大規模なソーシャルネットワークへの強い一般化能力を示した。
• アブレーションスタディの結果、メタポリシーとバッファ機構の両方がパフォーマンスと学習安定性に不可欠であることが確認された。
• すべてのデータセットで一貫した向上が確認され、異なるノードには異なる集約深さが必要であるという仮説が妥当であることが裏付けられた。