[論文レビュー] Edge Contraction Pooling for Graph Neural Networks

Frederik Diehl|arXiv (Cornell University)|May 27, 2019

Advanced Graph Neural Networks参考文献 18被引用数 98

ひとこと要約

EdgePool はエッジ収縮に基づくハードプーリング層であり、いくつかの学習済みプーリング手法を上回り、多くの GNN アーキテクチャに統合でき、トレーニングを変更せずにノード分類とグラフ分類の両方を改善します。

ABSTRACT

Graph Neural Network (GNN) research has concentrated on improving convolutional layers, with little attention paid to developing graph pooling layers. Yet pooling layers can enable GNNs to reason over abstracted groups of nodes instead of single nodes. To close this gap, we propose a graph pooling layer relying on the notion of edge contraction: EdgePool learns a localized and sparse hard pooling transform. We show that EdgePool outperforms alternative pooling methods, can be easily integrated into most GNN models, and improves performance on both node and graph classification.

研究の動機と目的

• ノードグループに基づく階層的推論を可能にするグラフプーリング層の必要性を動機づける。
• エッジ収縮に基づくグラフ構造を保持するプーリング層である EdgePool を紹介する。
• EdgePool が既存のプーリング手法を上回り、一般的な GNN アーキテクチャへの組み込みが容易であることを示す。
• EdgePool がグラフレベルとノードレベルの分類タスクの両方を改善することを示す。

提案手法

• 結合ノード特徴から学習可能な線形変換を用いてエッジスコアを計算する（r(eij) = W * (ni || nj) + b）。
• ターゲットノードごとに局所的ソフトマックス正規化を適用してエッジスコアを得る（sij = 0.5 + softmax_r*(rij)）。
• 最も高いスコアのエッジを反復的に収縮させ、付随するノードがすでに統合されていないことを保証し、層ごとに約 50% のプーリングを実現する。
• 収縮後の新しいノード特徴を hij = sij * (ni + nj) として計算し、勾配の流れ（ゲーティング）を可能にする。
• アンプールは逆マッピングを用いて EdgePool 層を通じてノードを再度マッピングし、アンプール時にはエッジスコアで特徴をスケールする。
• EdgePool はオプションでエッジ特徴を raw score に結合して取り込むことができる（r(eij) = W*(ni || nj || fij) + b）。

実験結果

リサーチクエスチョン

• RQ1 Q1: EdgePool はグラフタスクにおいて代替のプーリング手法を上回るのか？
• RQ2 Q2: EdgePool は既存の GNN アーキテクチャに容易に統合できるのか？
• RQ3 Q3: EdgePool はノード分類タスクに有益になり得るのか？

主な発見

データセット	ベースモデル	DiffPool	TopKPool	SAGPool	EdgePool
proteins	71.4±3.2	72.3±5.8	70.6±4.8	71.8±6.0	72.5±3.2
rdt-b	69.9±3.7	82.9±3.4	68.9±3.2	84.7±4.4	87.3±4.1
rdt-12k	35.1±1.6	34.8±1.9	28.7±1.8	41.9±3.3	45.6±1.8
collab	65.4±1.5	70.1±1.5	64.6±2.1	63.9±2.5	67.1±2.7

• EdgePool は、グラフ分類データセット（タンパク質、rdt-b、rdt-12k、collab）において非プーリングのベースラインおよび TopKPool より一貫して性能を向上させ、DiffPool のみがいくつかのタスクで上回られる。
• EdgePool を既存のアーキテクチャに統合すると、モデル間で平均約 2 ポイントの改善が得られ、モデル間での gains は異なる（GraphSAGE が最大、GIN/GIN0 は小さい）。
• EdgePool は複数のデータセットとモデルでノード分類に顕著な向上を提供し、全体で平均約 3.5 ポイントの改善を示し、GIN と GIN0 が最も強い改善を示す。
• グラフ分類のベンチマークで、EdgePool はタンパク質で 72.5%、rdt-b で 87.3%、rdt-12k で 45.6%、collab で 67.1% を達成している（means ± std として報告されている）。
• EdgePool はエッジに対してスパースで線形時間の動作をサポートし、大規模グラフへのスケーラビリティを実現する。