[論文レビュー] Accurate Learning of Graph Representations with Graph Multiset Pooling

Jinheon Baek, Minki Kang+1 more|arXiv (Cornell University)|Feb 23, 2021

Advanced Graph Neural Networks参考文献 48被引用数 68

ひとこと要約

本論文は Graph Multiset Transformer（GMT）を提案する。これはグラフ表現をマルチセットエンコーディングとして扱い、グラフ構造に基づくアテンションを用いて WL-test に類似した、順列不変なグラフ埋め込みを生成する手法である。GMT はグラフ分類・再構成・生成の分野で最先端の性能を達成しつつ、メモリ効率が高い。

ABSTRACT

Graph neural networks have been widely used on modeling graph data, achieving impressive results on node classification and link prediction tasks. Yet, obtaining an accurate representation for a graph further requires a pooling function that maps a set of node representations into a compact form. A simple sum or average over all node representations considers all node features equally without consideration of their task relevance, and any structural dependencies among them. Recently proposed hierarchical graph pooling methods, on the other hand, may yield the same representation for two different graphs that are distinguished by the Weisfeiler-Lehman test, as they suboptimally preserve information from the node features. To tackle these limitations of existing graph pooling methods, we first formulate the graph pooling problem as a multiset encoding problem with auxiliary information about the graph structure, and propose a Graph Multiset Transformer (GMT) which is a multi-head attention based global pooling layer that captures the interaction between nodes according to their structural dependencies. We show that GMT satisfies both injectiveness and permutation invariance, such that it is at most as powerful as the Weisfeiler-Lehman graph isomorphism test. Moreover, our methods can be easily extended to the previous node clustering approaches for hierarchical graph pooling. Our experimental results show that GMT significantly outperforms state-of-the-art graph pooling methods on graph classification benchmarks with high memory and time efficiency, and obtains even larger performance gain on graph reconstruction and generation tasks.

研究の動機と目的

• グラフプーリングをグラフ構造認識を持つマルセットエンコーディング問題として定式化する。
• グラフ構造付きアテンションを用いて置換不変・注入可能なグラフ埋め込みを生成するGMTを開発する。
• GMT の表現力が Weisfeiler-Lehman (WL) テストの力の境界以下であることを証明し、ノードクラスタリングへ拡張可能であることを示す。
• GMT をグラフ分類・再構成・分子生成タスクで実証的に検証し、生化学・社会・分子データセットに渡って評価する。

提案手法

• GMPoolをシードベースの注意駆動プーリングとして定義し、Graph Multi-head Attention (GMH)を用いて n 個のノード表現を k 個の代表ノードへ圧縮する。
• 構造情報を捉えるため、 GMH により keys/values をグラフ認識的GNNsを用いて計算し、単純な線形射影ではなくグラフ情報を取り込む。
• Self-Attentionブロックを組み込み、プールされたノード間および全ノード間の相互作用をマルチヘッドアテンションでモデル化する。
• GMPool と SelfAtt の単射性を証明し、GMT を WL-test の力の境界に整合させる。
• GMT をノードクラスタリングへ sparse でスケーラブルなアプローチを介して結びつけ、密な隣接操作を回避する。
• GMT をグラフ分類・再構成・分子生成タスクで評価し、メモリ/時間効率を分析する。

実験結果

リサーチクエスチョン

• RQ1 グラフプーリングを permutation-invariant を保ちつつ injective にするマルセットエンコーディング問題として定式化できるか？
• RQ2 GMT は WL テストレベルの識別力を達成しつつ、大規模グラフでも計算効率を維持できるか？
• RQ3 GMT は最先端のプーリング法と比較してグラフ分類・再構成・生成においてどのような性能を示すか？
• RQ4 GMT のメモリと時間のトレードオフはクラスタリングベースのプーリング法と比べてどうか？

主な発見

• GMT はグラフ分類ベンチマークで多くのグラフプーリングベースラインを上回り、メモリと時間の効率性が良好である。
• GMT はグラフ再構成および分子生成タスクでより大きな性能向上を示し、グラフ情報をより多く保持できることを示唆する。
• アブレーション実験により、グラフアテンションと自己アテンションの要素が性能に大きく寄与することを示し、GMT は追加のメッセージパッシング層がなくても効果的に動作できる。
• GMT はスパースグラフでメモリ効率が高く、実際にはメモリ集中型のプーリングベースラインよりも性能・スケーラビリティの点で優れている。