[論文レビュー] Understanding Pooling in Graph Neural Networks

Daniele Grattarola, Daniele Zambon+2 more|arXiv (Cornell University)|Oct 11, 2021

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿は、グラフ池合演算子を3つのコア操作（選択、低減、接続）に分解することで、GNNにおけるグラフ池合を形式化する統一的フレームワーク、SRC（Selection, Reduction, Connection）を導入する。30種類以上の池合手法の分類法を提案し、属性、構造、タスクの保存性という3つの基準で評価した結果、どの手法も普遍的に優れているわけではないことが判明。研究者は、構造保存性や学習可能灵活性といったタスク固有のニーズに基づいて池合戦略を選択すべきであると示唆する。

ABSTRACT

Inspired by the conventional pooling layers in convolutional neural networks, many recent works in the field of graph machine learning have introduced pooling operators to reduce the size of graphs. The great variety in the literature stems from the many possible strategies for coarsening a graph, which may depend on different assumptions on the graph structure or the specific downstream task. In this paper we propose a formal characterization of graph pooling based on three main operations, called selection, reduction, and connection, with the goal of unifying the literature under a common framework. Following this formalization, we introduce a taxonomy of pooling operators and categorize more than thirty pooling methods proposed in recent literature. We propose criteria to evaluate the performance of a pooling operator and use them to investigate and contrast the behavior of different classes of the taxonomy on a variety of tasks.

研究の動機と目的

• GNNにおけるグラフ池合演算子に統一的かつ形式的な定式化が欠けている現状に起因する、広く使われているが文書において標準化が不十分な問題に対処すること。
• グラフ池合を、選択（ノードのグループ化）、低減（属性集約）、接続（エッジ再構築）という3つの操作の合成として形式化すること。
• 学習可能性、複雑さ、出力サイズ、池合戦略（階層的対グローバル）の観点から、30種類以上の既存の池合手法を体系的に分類する分類法を構築すること。
• 属性保存性、構造保存性、タスク固有の適応性という3つの評価基準を定義・適用し、多様なベンチマークにおいて池合演算子を比較すること。
• 実用的なガイドラインと、フレームワークに依存しないPython API（SRC）を提供し、GNNにおける池合演算子の実装と評価を可能にすること。

提案手法

• グラフ池合を3つの関数に分解するモジュラーかつ形式的なフレームワークを提案：選択（ノードをスーパーノードにグループ化）、低減（各スーパーノードごとのノード特徴を集約）、接続（スーパーノード間のエッジを再構築）。
• SRC関数をノードおよびグラフ埋め込み操作として形式化し、最近のGNN普遍性理論を用いて、任意の池合演算子を普遍的に近似可能にすること。
• 学習可能性（学習あり対非学習）、複雑さ（線形対二次）、出力サイズ（固定対可変）、池合戦略（階層的対グローバル）の4つの次元に沿って、池合手法を分類すること。
• 3つの評価基準を定義：(1) ノード属性情報の保存性、(2) 元のグラフトポロジの保存性（スペクトルおよびラプラシアン整合性を用いて）、(3) 下流タスクへの適応性（下流精度で測定）。
• 再現性とGNNライブラリへの統合を可能にする、標準化されたフレームワークに依存しないPython API（SRC）を実装すること。
• 合成および実世界のデータセット（例：PROTEINS, MUTAG, ModelNet10）を用いた広範な実験を通じて、定義された基準に基づき、異なる池合クラスの性能を評価・対比すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、一貫性のあるモジュラーなフレームワークとして、グラフ池合演算子を統一的に形式化できるか？
• RQ2 文献に提案された多様なグラフ池合手法には、どのような構造的・機能的差異が存在するか？
• RQ3 学習可能性、複雑さ、出力サイズ、戦略といった池合演算子の特性のうち、どの特性が異なるグラフタイプやタスクにおいて性能に最も影響を与えるか？
• RQ4 異なる池合演算子は、ノード属性、グラフ構造、タスク固有情報の保存性をどの程度維持しているか？
• RQ5 体系的な評価フレームワークは、特定の応用シナリオに最も適した池合手法を特定できるか？

主な発見

• どの池合演算子も、すべてのデータセットと基準において一貫して優れているわけではない。性能はタスクやグラフタイプによって顕著に異なる。
• 非学習的かつスパースな手法（例：Graclus, NDP）は、Enzymes や Mutagenicity といった複数のベンチマークで最高の平均精度を記録しており、優れた一般化性能を示している。
• ModelNet10 といった大規模データセットでは、スペクトルベースの手法（MinCut, NDP）と学習可能な密な手法（DiffPool）が最高の性能を示し、MinCut は83.9％の精度に達した。
• 密で学習可能な池合演算子（例：DiffPool, MinCut）は、ラプラシアン2次損失およびスペクトル整合性で測定した構造情報の保存性において優れた性能を示した。
• 学習可能なスパースな手法は、しばしば完全なグラフ部分構造を破棄するため、情報損失を引き起こし、性能が低下する傾向にあり、全体的に推奨されにくい。
• 一部のデータセット（例：Mutagenicity）では、池合なしベースラインが一部の池合手法を上回った。これは、グラフ池合が常に有益ではなく、注意深く適用する必要があることを示唆している。