[論文レビュー] Hierarchical Graph Pooling with Structure Learning

Zhen Zhang, Jiajun Bu+5 more|arXiv (Cornell University)|Nov 14, 2019

Advanced Graph Neural Networks参考文献 42被引用数 120

ひとこと要約

要約: HGP-SLを提案する。非パラメトリックなグラフプーリング演算子であり、疎注意力構造学習ステップを備え、グラフ分類のための階層的グラフ表現を構築する。これはGNNに統合され、6つのベンチマークで検証される。

ABSTRACT

Graph Neural Networks (GNNs), which generalize deep neural networks to graph-structured data, have drawn considerable attention and achieved state-of-the-art performance in numerous graph related tasks. However, existing GNN models mainly focus on designing graph convolution operations. The graph pooling (or downsampling) operations, that play an important role in learning hierarchical representations, are usually overlooked. In this paper, we propose a novel graph pooling operator, called Hierarchical Graph Pooling with Structure Learning (HGP-SL), which can be integrated into various graph neural network architectures. HGP-SL incorporates graph pooling and structure learning into a unified module to generate hierarchical representations of graphs. More specifically, the graph pooling operation adaptively selects a subset of nodes to form an induced subgraph for the subsequent layers. To preserve the integrity of graph's topological information, we further introduce a structure learning mechanism to learn a refined graph structure for the pooled graph at each layer. By combining HGP-SL operator with graph neural networks, we perform graph level representation learning with focus on graph classification task. Experimental results on six widely used benchmarks demonstrate the effectiveness of our proposed model.

研究の動機と目的

• グラフ分類のために局所的およびグローバルなグラフ構造を捉えるために階層的プーリングの必要性を動機づける。
• 情報的ノードを選択し、誘導サブグラフを形成する非パラメトリックなグラフプーリング演算子(HGP-SL)を導入する。
• プーリングされたグラフのトポロジーを洗練させるための疎な注意に基づく構造学習機構を組み込む。
• 標準的なGNNアーキテクチャ内でHGP-SLのエンドツーエンド学習可能性をデモンストレーションする。
• 複数のベンチマークデータセットで多様なベースラインに対して実証的に評価する。

提案手法

• ノード表現と近傍再構成表現との差のL1距離をノード情報スコアとして定義し、プーリングを導く。
• 各プーリング層で上位rn_i^kノードを選択して誘導サブグラフを形成する（非パラメトリックプーリング）。
• ノード特徴と既存のエッジを用いて、sparsemax関数によるスパース性を持つ疎注意ベースの構造学習層を導入し、洗練された隣接行列S_i^kを計算する。
• 学習されたS_i^kを後続のグラフ畳み込み（元の隣接行列をGCN/GNN層における代替として）に組み込む。
• 各レベルで平均プーリングと最大プーリングを結合してリードアウトを計算し、K層を合計してグラフレベル表現z_iを作成する。
• グラフ分類のためにクロスエントロピー損失でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 ノード情報スコアに基づく非パラメトリックプーリング操作は階層的ダウンサンプリング中に本質的なグラフトポロジーを保持できるか。
• RQ2 プーリングされたサブグラフに学習された疎なグラフ構造を組み込むと、メッセージパッシングと最終的なグラフ分類性能は従来のプーリングと比べて改善されるか。
• RQ3 HGP-SLは異なるバックボーンGNNアーキテクチャとデータセットで最先端のプーリング手法と比べてどう性能を示すか。

主な発見

方法	ENZYMES	PROTEINS	D&D	NCI1	NCI109	Mutagenicity
GRAPHLET	29.16±5.63	72.23±4.49	72.54±3.83	62.48±2.11	60.96±2.37	56.65±1.74
SP	42.66±5.38	75.71±2.73	78.72±3.89	67.44±2.76	67.72±2.28	71.63±2.19
WL	51.16±6.19	76.16±3.99	76.44±2.35	76.65±1.99	76.19±2.45	80.32±1.71
GCN	43.66±3.39	75.17±3.63	73.26±4.46	76.29±1.79	75.91±1.84	79.81±1.58
GraphSAGE	37.99±3.71	74.01±4.27	75.78±3.91	74.73±1.34	74.17±2.89	78.75±1.18
GAT	39.83±3.68	74.72±4.01	77.30±3.68	74.90±1.72	75.81±2.68	78.89±2.05
Set2Set	33.16±3.21	79.33±0.84	70.83±0.84	69.62±1.32	73.66±1.69	80.84±0.67
DGCNN	32.16±3.87	79.99±0.44	70.06±1.21	74.08±2.19	78.23±1.31	80.41±1.02
DiffPool	60.61±3.94	79.90±2.95	78.61±1.32	77.73±0.83	77.13±1.49	80.78±1.12
EigenPool	63.97±2.51	78.84±1.06	78.63±1.36	77.24±0.96	75.99±1.42	80.11±0.73
gPool	43.33±2.88	80.71±1.75	77.02±1.32	76.25±1.39	76.61±1.39	80.30±1.54
SAGPool	43.99±4.23	81.72±2.19	78.70±2.29	77.88±1.59	75.74±1.47	79.72±0.79
EdgePool	65.33±4.36	82.38±0.82	79.20±2.61	76.56±1.01	79.02±1.89	81.41±0.88
HGP-SL_NS L	60.18±2.43	81.51±1.69	77.24±1.09	76.33±1.43	76.32±1.22	79.42±0.58
HGP-SL_HOP	62.16±2.11	83.03±1.74	78.42±1.37	77.72±1.54	78.78±1.09	79.88±1.09
HGP-SL_DEN	63.51±2.64	83.12±0.84	78.11±1.35	77.42±1.23	78.76±0.61	81.07±1.02
HGP-SL	68.79±2.11	84.91±1.62	80.96±1.26	78.45±0.77	80.67±1.16	82.15±0.58

• HGP-SLは六つのベンチマークデータセット全体でグラフ分類の最先端ベースラインを一貫して上回る。
• 学習された疎グラフを用いた構造化プーリングは、NSLおよびHOPバリアントよりも良い性能を示し、構造学習コンポーネントを検証する。
• 密結合構造学習と疎構造学習を比較すると、疎性（sparsemaxによる）が一般にノイズを低減して有利である。
• アブレーションにより、プーリングと構造学習を組み合わせた方が、プーリング単体や単純な近傍接続よりも優れることが示された。
• HGP-SLはGCN、GAT、GraphSAGEのバックボーンで強力な結果を達成しており、アーキテクチャの適合性を示す。