[論文レビュー] Hierarchical Graph Representation Learning with Differentiable Pooling

Rex Ying, Jiaxuan You+4 more|arXiv (Cornell University)|Jun 22, 2018

Advanced Graph Neural Networks参考文献 34被引用数 833

ひとこと要約

DiffPoolは、階層的なグラフ表現を学習する微分可能なグラフプーリングモジュールを導入し、グラフ分類ベンチマークで平均精度を5～10%向上させ、5つのデータセット中4つで最先端の結果を達成します。

ABSTRACT

Recently, graph neural networks (GNNs) have revolutionized the field of graph representation learning through effectively learned node embeddings, and achieved state-of-the-art results in tasks such as node classification and link prediction. However, current GNN methods are inherently flat and do not learn hierarchical representations of graphs---a limitation that is especially problematic for the task of graph classification, where the goal is to predict the label associated with an entire graph. Here we propose DiffPool, a differentiable graph pooling module that can generate hierarchical representations of graphs and can be combined with various graph neural network architectures in an end-to-end fashion. DiffPool learns a differentiable soft cluster assignment for nodes at each layer of a deep GNN, mapping nodes to a set of clusters, which then form the coarsened input for the next GNN layer. Our experimental results show that combining existing GNN methods with DiffPool yields an average improvement of 5-10% accuracy on graph classification benchmarks, compared to all existing pooling approaches, achieving a new state-of-the-art on four out of five benchmark data sets.

研究の動機と目的

• グラフ分類のための階層的グラフ表現の必要性を動機づける。
• 複数のGNN層にわたってグラフを粗くする微分可能なプーリング機構を提案する。
• 学習済みクラスタ割り当てを用いて、深い階層GNNのエンドツーエンド訓練を可能にする。
• DiffPoolが多様なデータセットとGNNバックボーンに渡って性能を向上させることを示す。

提案手法

• DiffPoolを導入する。Softなクラスタ割り当て S^(l) を学習してより粗いグラフを形成する微分可能なプーリングモジュール。
• Compute cluster embeddings X^(l+1) = S^(l)ᵀ Z^(l) and coarsened adjacency A^(l+1) = S^(l)ᵀ A^(l) S^(l).
• 各層につき2つのGNNを用いる。ノード埋め込み用の埋め込みGNNと、プーリング割り当てを生成するプーリングGNN。
• 補助的なリンク予測目的 L_LP = ||A^(l) , S^(l) S^(l)ᵀ||_F と、割り当てをほぼ one-hot に近づけるエントロピー正規化 L_E で訓練する。
• Permutation不変なGNNを前提とした場合、ノード置換下で DiffPool の置換不変性を保証する。
• 分類に使用される最終的なグラフ表現でエンドツーエンド訓練をサポートする。

実験結果

リサーチクエスチョン

• RQ1 DiffPool はグラフ分類ベンチマークにおいて、GNNの既存のプーリング法よりも優れているか？
• RQ2 DiffPool は異なるGNNアーキテクチャ全体で、スケーラブルで解釈可能な階層的グラフ表現を提供できるか？
• RQ3 補助目的を組み込むことで訓練を安定化させ、クラスタリングの解釈性を向上させるか？
• RQ4 階層的プーリングは、データセット間で平坦なGNNアーキテクチャと比較して性能にどう影響するか？
• RQ5 このアプローチは GraphSAGE 以外のアーキテクチャ（Structure2Vec など）にも一般化可能か？

主な発見

• DiffPool はグラフ分類タスクにおいて、すべての既存のプーリング手法より平均で 5–10% の精度改善をもたらす。
• ベンチマークデータセット5つのうち4つで最先端の結果を達成。
• DiffPool を GraphSAGE と組み合わせると、ベースラインに対して約6.27%の平均利得を示す。
• 埋め込みと組み合わせた場合、Structure2Vec の性能も改善され、一般性を示唆する。
• 補助的なリンク予測目的は訓練の安定性を向上させ、実行間の精度ばらつきを減らす。
• DiffPool はグラフのコミュニティ構造と整合する解釈可能な階層クラスターを学習する。