[論文レビュー] Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities

Takeshi Itoh, Takatomi Kubo+1 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Graph Neural Networks参考文献 85被引用数 29

ひとこと要約

本稿では、複数のメッセージスワッピング層からの注目ベースのグラフ表現を学習・集約することで、グラフレベル分類を向上させるGNNアーキテクチャであるMulti-Level Attention Pooling (MLAP)を提案する。層ごとの構造的情報を保持し、重み付きまたは和集合による集約を行うことで、表現の識別性が向上し、特にGraphNormなどの正規化手法と組み合わせた場合、分子および合成グラフデータセットで最先端の性能を達成する。

ABSTRACT

Graph neural networks (GNNs) have been widely used to learn vector representation of graph-structured data and achieved better task performance than conventional methods. The foundation of GNNs is the message passing procedure, which propagates the information in a node to its neighbors. Since this procedure proceeds one step per layer, the range of the information propagation among nodes is small in the lower layers, and it expands toward the higher layers. Therefore, a GNN model has to be deep enough to capture global structural information in a graph. On the other hand, it is known that deep GNN models suffer from performance degradation because they lose nodes' local information, which would be essential for good model performance, through many message passing steps. In this study, we propose multi-level attention pooling (MLAP) for graph-level classification tasks, which can adapt to both local and global structural information in a graph. It has an attention pooling layer for each message passing step and computes the final graph representation by unifying the layer-wise graph representations. The MLAP architecture allows models to utilize the structural information of graphs with multiple levels of localities because it preserves layer-wise information before losing them due to oversmoothing. Results of our experiments show that the MLAP architecture improves the graph classification performance compared to the baseline architectures. In addition, analyses on the layer-wise graph representations suggest that aggregating information from multiple levels of localities indeed has the potential to improve the discriminability of learned graph representations.

研究の動機と目的

• 過剰平滑化により生じる深層GNNの性能低下、特に重要な局所的構造的情報を消失させる問題に対処すること。
• グラフ内の複数の局所性レベルからの情報を統合することで、グラフ表現の識別性を向上させること。
• 下流のGNNバックボーンを変更せずに、グラフレベル分類を向上させる汎用的なアーキテクチャを構築すること。
• 各層での注目ベースのプーリングが、単一層のプーリングと比較して、局所的およびグローバルな構造的パターンをよりよく保持・活用できるかどうかを検討すること。

提案手法

• GNNの各メッセージスワッピング層の後に注目プーリング層を導入し、層ごとのグラフ表現を計算する。
• 学習可能な注目メカニズムを用いて、各層のノードに重要度スコアを割り当て、情報量の多い部分構造を効果的に集約可能にする。
• 和または学習可能な重み付きプーリングを用いて、層ごとのグラフ表現を集約し、最終的なグラフレベル表現を生成する。
• GCN、GIN、GATなどのさまざまなGNNバックボーンおよびGraphNormなどの正規化手法と互換性を持つ形で、集約メカニズムを適用する。
• ジャンピング・ナレッジネットワークにインspiredされた階層的集約戦略を採用し、局所性の関連するレベルを動的に選択可能にする。
• モジュール型かつ拡張可能なアーキテクチャとして設計し、複数段階の訓練や、和および重み付きプーリング以外の代替集約関数のサポートを可能にする。

実験結果

リサーチクエスチョン

• RQ1 GNNの複数層からのグラフ表現を集約することで、単一層のプーリングと比較して分類性能が向上するか？
• RQ2 注目プーリングによる層ごとの表現の保持が、深層GNNにおける局所的構造的情報の損失を緩和するか？
• RQ3 既存の集約手法（例：ジャンピング・ナレッジ（JK））と比較して、MLAPの識別性および性能はどのように異なるか？
• RQ4 GraphNormなどの正規化手法とMLAPを統合することで、モデルの一般化性能がさらに向上するか？
• RQ5 和プーリングと重み付きプーリングなどの異なる集約戦略が、学習の安定性および性能に与える影響は何か？

主な発見

• MLAPはMCF-7および合成データセットにおいて、ベースラインGNNおよびJK集約手法と比較して、顕著なグラフ分類精度の向上を達成した。
• 特にGraphNormと組み合わせた場合、MLAP + GraphNormは、Naive GNN + GraphNorm や JK + GraphNorm よりも優れた結果を示した。
• t-SNE可視化により、MLAPの層ごとの表現がより識別可能であり、陽性サンプルと陰性サンプルの間に明確な分離が得られていることが確認された。
• MLAP-Weightedは一部のデータセットでMLAP-Sumより性能が悪く、学習可能な重みが訓練の不安定性を引き起こす可能性があることを示唆した。
• 本アーキテクチャは、さまざまなGNNバックボーンおよび正規化手法と互換性があり、広範な適用可能性と、既存モデルへの統合の可能性を示した。
• 分析の結果、局所性の複数レベルからの表現を集約することで、学習されたグラフ埋め込みの識別性が向上することが判明し、本手法の核心仮説を支持した。