[論文レビュー] MxPool: Multiplex Pooling for Hierarchical Graph Representation Learning

Yanyan Liang, Yanfeng Zhang+2 more|arXiv (Cornell University)|Apr 15, 2020

Advanced Graph Neural Networks参考文献 33被引用数 5

ひとこと要約

MxPoolは、学習可能な注目重みを用いて、複数のグラフ畳み込みおよびプーリングネットワークを同時に使用するマルチプレックスGNNアーキテクチャを提案する。これは、グラフ表現学習における異種グラフ特性の課題に対処するためのものである。動的注目によりグラフサイズ、次数、エッジ数に適応することで、MxPoolはベンチマークグラフ分類データセットで最先端の性能を達成し、DiffPoolを含む既存手法を上回る。

ABSTRACT

How to utilize deep learning methods for graph classification tasks has attracted considerable research attention in the past few years. Regarding graph classification tasks, the graphs to be classified may have various graph sizes (i.e., different number of nodes and edges) and have various graph properties (e.g., average node degree, diameter, and clustering coefficient). The diverse property of graphs has imposed significant challenges on existing graph learning techniques since diverse graphs have different best-fit hyperparameters. It is difficult to learn graph features from a set of diverse graphs by a unified graph neural network. This motivates us to use a multiplex structure in a diverse way and utilize a priori properties of graphs to guide the learning. In this paper, we propose MxPool, which concurrently uses multiple graph convolution/pooling networks to build a hierarchical learning structure for graph representation learning tasks. Our experiments on numerous graph classification benchmarks show that our MxPool has superiority over other state-of-the-art graph representation learning methods.

研究の動機と目的

• サイズや構造的特性が異なる異種グラフ上で統一されたGNNを学習する課題に対処すること。
• 多様なグラフにおいて固定ハイパーパrameterを用いるグラフ畳み込みおよびプーリング層の制限を克服すること。
• ノード数、エッジ数、平均次数といったグラフ固有の特性に動的に適応する階層的グラフ表現学習フレームワークを設計すること。
• 複数の畳み込みおよびプーリングネットワークにわたるエンドツーエンドの注目重みの学習を可能にし、関連するグラフ特徴を優先すること。
• 単一パスGNNよりも構造的多様性をより効果的に扱えるマルチプレックス構造を活用して、グラフ分類性能を向上させること。

提案手法

• MxPoolは、グラフサイズに応じたノードレベル表現を学習するために、異なる隠れ次元設定を持つ複数の並列グラフ畳み込みネットワーク（GCNs）を用いる。
• 一貫したサイズにダウンサンプリングする際の情報損失を最小限に抑えるために、異なる粗化比を有する複数のグラフプーリングネットワークを用いる。
• 事前グラフ特性（例：ノード数、エッジ数、平均次数）を用いて、各畳み込みおよびプーリングネットワークの学習可能な注目重みを計算する。
• 注目メカニズムは、与えられたグラフの構造的特性に最も適したネットワークに高い重みを動的に割り当てる。
• 最終的なグラフレベル表現は、すべてのマルチプレックス畳み込みおよびプーリングスティームの出力を連結し、注目をかけることで得られる。
• 全アーキテクチャはエンドツーエンドで訓練され、注目重みが入力グラフごとに最適なネットワークの組み合わせを自発的に学習できる。

実験結果

リサーチクエスチョン

• RQ1 複数のGCNsおよびプーリングネットワークを備えたマルチプレックスアーキテクチャは、異種グラフにおけるグラフ表現学習を向上させることができるか？
• RQ2 事前グラフ特性（例：サイズ、次数）に基づいて注目重みを学習することは、固定または均一なハイパーパrameter設定よりも優れた性能をもたらすか？
• RQ3 マルチプレックスネットワークの数がモデルの性能および一般化性能に与える影響は何か？
• RQ4 注目メカニズムは、グラフ構造的多様性に基づいて、異なる畳み込みおよびプーリングネットワークを効果的に優先することができるか？
• RQ5 MxPoolは、DiffPoolを含む最先端手法よりも、標準的なグラフ分類ベンチマークで優れているか？

主な発見

• PROTEINSおよびENZYMESのグラフ分類ベンチマークでMxPoolは最先端の性能を達成し、3〜4つのマルチプレックスネットワークを用いた場合、PROTEINSで78.40%、ENZYMESで69.53%の精度を達成した。
• 学習可能な注目重みを用いた並列の複数の畳み込みおよびプーリングネットワークは、単一ネットワークベースラインを上回る性能を示し、MCMP（マルチプレックス畳み込みおよびマルチプレックスプーリング）が最も優れた結果を示した。
• MxPoolが学習する注目重みは、グラフサイズと強く相関している：小さなグラフは、低次元のGCNおよび低粗化比のプーリングネットワークに高い注目を向ける。
• 実験により、小さなグラフと大きなグラフでは埋め込みサイズと粗化比の最適値が逆転することが示され、マルチプレックス適応の必要性が裏付けられた。
• マルチプレックスネットワークの数が4を超えると性能が低下し、パrameter数の増加による過学習の兆候が示された。
• ノード数、エッジ数、平均次数が異なるグラフにおいて、畳み込みおよびプーリングネットワークの注目重み分布が顕著に異なることが確認され、モデルの適応的挙動が裏付けられた。