[論文レビュー] Self-Attention Graph Pooling

Junhyun Lee, Inyeop Lee+1 more|arXiv (Cornell University)|Apr 17, 2019

Advanced Graph Neural Networks参考文献 44被引用数 375

ひとこと要約

SAGPoolは、ノード特徴とグラフトポロジーを考慮した自己注意ベースのグラフプーリング層をGNNに導入し、エンドツーエンドの階層的グラフ表現を競争力のある性能で実現します。複数のデータセットにわたりglobalとhierarchicalなプーリングアーキテクチャを比較し、特に大規模グラフで強い結果を示します。

ABSTRACT

Advanced methods of applying deep learning to structured data such as graphs have been proposed in recent years. In particular, studies have focused on generalizing convolutional neural networks to graph data, which includes redefining the convolution and the downsampling (pooling) operations for graphs. The method of generalizing the convolution operation to graphs has been proven to improve performance and is widely used. However, the method of applying downsampling to graphs is still difficult to perform and has room for improvement. In this paper, we propose a graph pooling method based on self-attention. Self-attention using graph convolution allows our pooling method to consider both node features and graph topology. To ensure a fair comparison, the same training procedures and model architectures were used for the existing pooling methods and our method. The experimental results demonstrate that our method achieves superior graph classification performance on the benchmark datasets using a reasonable number of parameters.

研究の動機と目的

• ノード特徴とトポロジーの双方を活かす改良されたグラフプーリングの動機付け。
• グラフ上で自己注意を用いた微分可能でスケーラブルなプーリング層を開発する。
• 強力なベースラインに対して、グローバルおよび階層型プーリングアーキテクチャにおけるSAGPoolを評価する。
• SAGPoolが、入力グラフのサイズに比較的依存しないパラメータ数で高い精度を達成することを示す。

提案手法

• SAGPoolを、アテンションスコアを計算するためにグラフ畳込みを用いる自己注意ベースのプーリング層として定義する。
• Z = sigma(Ã D^{-1/2} Ã D^{-1/2} X Theta_att) を計算する。ここで Ã は自己ループを加えた A、D は次数行列である。
• Z によって上位 kN 個のノードを選択し、X_out と A_out を形成して、固定分率 k のノードを保持する。
• アテンションには、ChebConv、SAGE、GAT などの異なるGNNと、augmentation、serial、parallel の2ホップ接続性を用いる変種を許容する。
• Set2Set、SortPool、DiffPool、gPool などのベースラインと公正に比較するためのグローバルおよび階層型プーリングアーキテクチャを提供する。
• 入力グラフサイズに依存しない一定のパラメータ数を維持する。

実験結果

リサーチクエスチョン

• RQ1 グラフトポロジーを組み込んだ自己注意ベースのプーリングは、グラフ分類性能を向上させることができるか。
• RQ2 グローバルアーキテクチャと階層型アーキテクチャの下で、SAGPoolは既存のプーリング手法とどのように比較されるか。
• RQ3 トポロジー認識型アテンションと2ホップ情報の使用が、プーリング品質と効率に与える影響はどの程度か。
• RQ4 SAGPool の変種（異なるGNN、augmentation/serial/parallel、マルチGNN平均化）がデータセット全体で性能にどう影響するか。

主な発見

• SAGPool g は D&D で 76.19% ±0.94、PROTEINS で 70.04% ±1.47、NCI1 で 74.18% ±1.20、NCI109 で 74.06% ±0.78、FRANKENSTEIN で 62.57% ±0.60 の性能をグローバルプーリングアーキテクチャで達成。
• SAGPool h は D&D で 76.45% ±0.97、PROTEINS で 71.86% ±0.97、NCI1 で 67.45% ±1.11、NCI109 で 67.86% ±1.41、FRANKENSTEIN で 61.73% ±0.76 の性能を階層型プーリングアーキテクチャで達成。
• SAGPoolは一般にベースラインSet2Set、SortPool、DiffPool、gPoolをデータセット全体で上回り、特にD&DとPROTEINSで顕著な改善を示す。
• SAGPool のように正規化された隣接行列をアテンションスコアに取り入れてグラフトポロジーを組み込むことは、gPool のようなトポロジー非依存のプーリングより性能を向上させる。
• 2ホップ接続性とマルチ-GNN平均化を取り入れた変種はデータセット依存の改善を示し、SAGPool の柔軟性をさらなる向上に活用できることを示している。
• スパース性とエンドツーエンド学習はメモリとパラメータ特性を有利にする。SAGPoolのパラメータ数はグラフサイズが大きくなるにつれて安定している。