[論文レビュー] Rethinking pooling in graph neural networks

Diego Mesquita, Amauri H. Souza+1 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Graph Neural Networks参考文献 52被引用数 40

ひとこと要約

この論文は、局所プーリングがGNNの性能に不可欠ではないことを示し、非局所プーリングのバリエーションが同等に競合することを示し、畳み込みが学習表現を主に推進する。

ABSTRACT

Graph pooling is a central component of a myriad of graph neural network (GNN) architectures. As an inheritance from traditional CNNs, most approaches formulate graph pooling as a cluster assignment problem, extending the idea of local patches in regular grids to graphs. Despite the wide adherence to this design choice, no work has rigorously evaluated its influence on the success of GNNs. In this paper, we build upon representative GNNs and introduce variants that challenge the need for locality-preserving representations, either using randomization or clustering on the complement graph. Strikingly, our experiments demonstrate that using these variants does not result in any decrease in performance. To understand this phenomenon, we study the interplay between convolutional layers and the subsequent pooling ones. We show that the convolutions play a leading role in the learned representations. In contrast to the common belief, local pooling is not responsible for the success of GNNs on relevant and widely-used benchmarks.

研究の動機と目的

• GNNにおける局所性保持プーリングの必然性を疑う。
• 標準的なグラフ分類ベンチマークで非局所プーリング variante の性能を評価する。
• 畳み込み層がプーリングと相互作用して表現を形成する様子を分析する。
• GNNのプーリング設計選択を健全に検証するための単純なベースラインを提供する。

提案手法

• 代表的なプーリング重視モデル（Graclus、DiffPool、GMN）を再現し、ランダム化や補集合グラフを用いてプーリングを単純化する。
• 4つのグラフ分類データセット（ZINC、NCI1、IMDB-B、SMNIST）と追加データセットで評価する。
• 学習済みまたはクラスタリングベースのプーリングを非局所的またはランダム化されたプーリングに置換する。
• プーリングの影響と前段の平滑化が畳み込みに与える役割を理解するために学習済み埋め込みを検査する。
• プーリングの必然性を評価するためにグローバルプーリングのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 局所性を保持するプーリングは、標準ベンチマークでGNNの性能に重要な影響を及ぼすか？
• RQ2 ランダムまたは非局所プーリングは従来のプーリング方式の性能に匹敵するか、またはそれを超えるか？
• RQ3 畳み込み層はGNNにおけるプーリングの有効性にどのような影響を与えるか？
• RQ4 拡散型アプローチにおけるプーリング品質にはクラスタリング正則化損失が必須か？
• RQ5 非局所プーリングを用いた場合の多様なデータセットでの性能影響は？

主な発見

モデル	NCI1 ↑	IMDB-B ↑	SMNIST ↑	ZINC ↓
GraphSAGE	76.0±1.8	69.9±4.6	97.1±0.02	0.41±0.01
GIN	80.0±1.4	66.8±3.9	94.0±1.30	0.41±0.01
Graclus	80.1±1.6	69.9±3.5	94.3±0.34	0.42±0.02
Complement	80.2±1.4	70.9±3.9	94.5±0.33	0.43±0.02

• 非局所プーリングのバリエーション（Complement、Uniform/Normal/Bernoulli random）は、局所プーリングの対になる手法と同等あるいは上回る性能をタスク全体で示した。
• GraclusとComplementはNCI1、IMDB-B、SMNIST、ZINCで類似の性能を達成し、ComplementはGraclusの近接範囲。
• DiffPoolはランダムプールで報告タスクで平均精度が高い場合がある。
• GMNは距離またはランダム variantsでGMNと同等の性能を発揮し、しばしばトレーニング時間が速い。
• プーリング前の単一の畳み込みは複数の畳み込みと比べ性能を大幅に低下させ、早期平滑化の重要性を浮き彫りにする。
• 複数の畳み込みの上にグローバル平均プーリングを適用すると、局所プーリング手法と同等の性能が得られる。