[論文レビュー] The expressive power of pooling in Graph Neural Networks

Filippo Maria Bianchi, Veronica Lachi|arXiv (Cornell University)|Apr 4, 2023

Advanced Graph Neural Networks被引用数 8

ひとこと要約

論文は、前段のグラフニューラルネットワーク層の表現力を損なわずにプーリング演算を行うための principled な充分条件基準を提供し、既存のプーリング手法を分析し、EXPWL1を導入して同型性識別性を経験的に検証する。

ABSTRACT

In Graph Neural Networks (GNNs), hierarchical pooling operators generate local summaries of the data by coarsening the graph structure and the vertex features. While considerable attention has been devoted to analyzing the expressive power of message-passing (MP) layers in GNNs, a study on how graph pooling affects the expressiveness of a GNN is still lacking. Additionally, despite the recent advances in the design of pooling operators, there is not a principled criterion to compare them. In this work, we derive sufficient conditions for a pooling operator to fully preserve the expressive power of the MP layers before it. These conditions serve as a universal and theoretically grounded criterion for choosing among existing pooling operators or designing new ones. Based on our theoretical findings, we analyze several existing pooling operators and identify those that fail to satisfy the expressiveness conditions. Finally, we introduce an experimental setup to verify empirically the expressive power of a GNN equipped with pooling layers, in terms of its capability to perform a graph isomorphism test.

研究の動機と目的

• プラットフォームの下流タスク性能だけでなく、GNNの表現力に対するプーリング影響を評価する必要性を動機づける。
• プーリングがMP層の表現力を保持する充分条件を導出する。
• 既存のプーリング演算子を表現力基準に従って分類する。
• プーリングによる表現力を検証するエンピリカル評価プロトコルと専用データセット（EXPWL1）を提供する。
• プライミングされた識別力を維持するプーリング演算子の設計または選択に関する指針を提供する。

提案手法

• SRC（Select-Reduce-Connect）プーリングフレームワークを採用し、プーリングをSEL、RED、CON関数としてモデル化する。
• 定理1を証明：プーリングが前段のMP層の表現力を保持する三つの充分条件。
• SRCフレームワークを用いて、プーリング演算子をdense vs sparse、trainable vs non-trainable、fixed vs adaptiveのカテゴリーに分解する。
• EXPWL1上でプーリング演算子を評価し、WLレベルの識別力を検証するとともに、標準的なグラフ分類ベンチマークで検証する。
• 表現力と相関するプーリングが、プーリング後のWL識別性をどう維持するかを実証的に示す。

実験結果

リサーチクエスチョン

• RQ1 プーリング演算子は、それに先立つMP層の表現力を保持できるか？
• RQ2 WLレベルの識別力を保持するために、プーリング演算子が満たすべき充分条件は何か？
• RQ3 どの既存のプーリング演算子がこれらの条件を満たすまたは満たさないか、そしてそれが表現力にどう影響するか？
• RQ4 プーリング層が存在する場合、GNNの表現力を経験的にどう測定するか？
• RQ5 EXPWL1ベースの評価は、実世界のグラフ分類ベンチマークの性能と一致するか？

主な発見

Pooling	s/epoch	GIN layers	Pool Ratio	Test Acc	Expressive
No-pool	0.33s	3	–	99.3±0.3	✓
DiffPool	0.69s	2+1	0.1	97.0±2.4	✓
DMoN	0.75s	2+1	0.1	99.0±0.7	✓
MinCut	0.72s	2+1	0.1	98.8±0.4	✓
ECPool	20.71s	2+1	0.2	100.0±0.0	✓
Graclus	1.00s	2+1	0.1	99.9±0.1	✓
k MIS	1.17s	2+1	0.1	99.9±0.1	✓
Top- k	0.47s	2+1	0.1	67.9±13.9	✗
PanPool	3.82s	2+1	0.1	63.2±7.7	✗
ASAPool	1.11s	1+1	0.1	83.5±2.5	✗
SAGPool	0.59s	1+1	0.1	79.5±9.6	✗
Rand-dense	0.41s	2+1	0.1	91.7±1.3	✓
Cmp-Graclus	8.08s	2+1	0.1	91.9±1.2	✓
Rand-sparse	0.47s	2+1	0.1	62.8±1.8	✗

• プーリングが前段のMP層と同じレベルの表現力を保持する三つの充分条件が存在する。
• 条件を満たすdenseでtrainableなプーリング演算子は、プーリング後のWL識別性を維持する。
• 表現力を持たないsparseなプーリング演算子（例：Top-k、PanPool、ASAPool、SAGPool）は条件を満たさず、表現力を低下させる。
• EXPWL1での実験結果は、表現力のあるプーリング演算子がほぼ100%の精度を達成し、ノープールのベースラインと同等、非表現力的なものは低評価となる。
• Rand-denseとCmp-Graclusは表現力を持つが、グラフ構造の歪みのため最良の表現力手法には及ばない。
• ベンチマークデータセットでは、表現力のあるプーリング手法が非表現力のものを上回り、理論的基準を裏付けている。