[論文レビュー] Principal Neighbourhood Aggregation for Graph Nets

Gabriele Corso, Luca Cavalleri+3 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Graph Theory Research参考文献 47被引用数 244

ひとこと要約

本論文は Principal Neighbourhood Aggregation (PNA) を紹介する。PNA は複数のアグリゲータを次数スケーラーと組み合わせて連続特徴量を扱う GNN レイヤーであり、合成のマルチタスクベンチマークと実世界データセットで優れた性能を示す。

ABSTRACT

Graph Neural Networks (GNNs) have been shown to be effective models for different predictive tasks on graph-structured data. Recent work on their expressive power has focused on isomorphism tasks and countable feature spaces. We extend this theoretical framework to include continuous features - which occur regularly in real-world input domains and within the hidden layers of GNNs - and we demonstrate the requirement for multiple aggregation functions in this context. Accordingly, we propose Principal Neighbourhood Aggregation (PNA), a novel architecture combining multiple aggregators with degree-scalers (which generalize the sum aggregator). Finally, we compare the capacity of different models to capture and exploit the graph structure via a novel benchmark containing multiple tasks taken from classical graph theory, alongside existing benchmarks from real-world domains, all of which demonstrate the strength of our model. With this work, we hope to steer some of the GNN research towards new aggregation methods which we believe are essential in the search for powerful and robust models.

研究の動機と目的

• 連続特徴量を持つ GNN におけるより豊かな近傍集約の必要性を動機づける。
• Principal Neighbourhood Aggregation (PNA) アーキテクチャを提案し、複数のアグリゲータを次数ベースのスケーラーと結合する。
• 連続特徴空間における単射性のために複数のアグリゲータの必要性を理論的に確立する。
• 標準的な GNN レイヤーと比較しながら、マルチタスクの合成ベンチマークおよび実世界データセットで PNA を経験的に評価する。

提案手法

• アグリゲータを用いて近傍のマルチセットの連続特徴の単射性の限界を定義する。
• ノードの次数 (d) によってメッセージを変調するための次数スケーラーを導入する。対数スケーラーを含む。
• 4つのアグリゲータ（平均、最大、最小、標準偏差）を3つの次数スケーラーとテンソル積で組み合わせて PNA 演算子を形成する。
• PNA を encode-process-decode GNN アーキテクチャに組み込み、層間で共有パラメータを持ち、深さを変動可能とする。
• 古典的なグラフ問題に触発されたマルチタスクの合成ベンチマークを開発し、表現力と一般化を検証する。
• 確立された訓練プロトコルに従い、実世界のグラフデータセット（ZINC、MolHIV、CIFAR10、MNIST）で PNA を評価し、公平な比較を行う。

実験結果

リサーチクエスチョン

• RQ1 連続特徴を持つ場合に複数のアグリゲータを使用することは、単一アグリゲータモデルと比較して GNN の表現力を向上させるのか。
• RQ2 次数スケーラーが異なるサイズの近傍の識別能力にどのように影響するのか。
• RQ3 PNA は合成マルチタスクベンチマークおよび実世界のグラフデータセットにおいて、既存の GNN レイヤーより優れた性能を発揮できるのか。
• RQ4 より大規模なグラフや異なるグラフドメインへの外挿に対する PNA の影響は何か。

主な発見

• PNA はマルチタスク人工ベンチマークで一貫して最先端モデルを上回る。
• PNA は評価したすべてのアーキテクチャ設計とグラフタイプでより強い性能を示す。
• 実世界の化学ベンチマークでは、スケーラー付きの PNA が性能を向上させるが、スケーラーなしの版は近傍サイズの識別で苦戦する。
• ベースラインモデルの潜在次元を増やしても PNA の性能ギャップを埋められない。
• 外挿テストでより大きなグラフでも PNA は優れた性能を維持する一方、他のモデルでは特徴量の爆発が生じることがある。