[論文レビュー] Towards Sparse Hierarchical Graph Classifiers

Cătălina Cangea, Petar Veličković+3 more|arXiv (Cornell University)|Nov 3, 2018

Advanced Graph Neural Networks参考文献 19被引用数 198

ひとこと要約

本論文は、学習可能なプーリング機構を用いてグラフを二乗メモリを要さずダウンサンプリングする、スケーラブルでスパーシティを維持する階層的グラフ分類器を提案し、標準ベンチマークでDiffPoolと競合する成果を達成した。

ABSTRACT

Recent advances in representation learning on graphs, mainly leveraging graph convolutional networks, have brought a substantial improvement on many graph-based benchmark tasks. While novel approaches to learning node embeddings are highly suitable for node classification and link prediction, their application to graph classification (predicting a single label for the entire graph) remains mostly rudimentary, typically using a single global pooling step to aggregate node features or a hand-designed, fixed heuristic for hierarchical coarsening of the graph structure. An important step towards ameliorating this is differentiable graph coarsening---the ability to reduce the size of the graph in an adaptive, data-dependent manner within a graph neural network pipeline, analogous to image downsampling within CNNs. However, the previous prominent approach to pooling has quadratic memory requirements during training and is therefore not scalable to large graphs. Here we combine several recent advances in graph neural network design to demonstrate that competitive hierarchical graph classification results are possible without sacrificing sparsity. Our results are verified on several established graph classification benchmarks, and highlight an important direction for future research in graph-based neural networks.

研究の動機と目的

• 固定プーリングやグローバルプーリングの限界を踏まえたグラフ分類の動機付け。
• 二乗オーダーのメモリを要さずにグラフをダウンサンプリングする微分可能で疎なプーリング層を開発。
• 畳み込み、プーリング、リードアウトを統合してエンドツーエンドのグラフ分類モデルを構築。
• 標準的なグラフ分類ベンチマークでスケーラビリティと競争力のある性能を示す。

提案手法

• 自己ループを備えた誘導的平均プーリング伝播則を用いたグラフ畳み込み: MP(X,A)=sigma(D^(-1) Â X Θ + X Θ' ).
• 固定比率 k までノードを削減するプーリング層、射影ベクトル p と上位 k の選択を用いてより疎なグラフを形成: y=Xp/||p||, i=top-k(y,k), X'=X⊙tanh(y) のインデックス i, A'=A_i,i.
• 層ごとの要約 s^(l) = (1/N^(l)) ∑_i x_i^(l) || max_i x_i^(l) によるリードアウト、最終的なグラフ表現 s = ∑_l s^(l) と予測のためのMLP。
• 訓練はデータセット固有の学習率を用いたAdamを使用し、プーリング後のノード数を80%保持するよう3つの畳み込み-プーリングブロックを適用。
• DiffPoolと比較して、方法は二乗ではなくO(V+E)のストレージを維持し、スケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なプーリングをグラフCNNに実装して二乗計算量を生じさせずに実現できるか。
• RQ2 スパース性を意識した階層的プーリングは標準的なグラフ分類ベンチマークで競争力のある性能を維持できるか。
• RQ3 提案手法はDiffPoolおよび疎グラフ集約ベースラインとデータセット間でどのように比較されるか。
• RQ4 Jumping Knowledge風のマルチスケールリードアウトは分類性能に有益か。

主な発見

データセット	モデル	Enzymes	D&D	Collab	Proteins
Enzymes	Graphlet	41.03	–	–	–
D&D	Shortest-path	74.85	78.86	76.43	76.43
Collab	1-WL	64.66	59.10	78.61	73.76
Proteins	WL-QA	72.91	–	–	75.26
Enzymes	PatchySAN	–	–	–	–
D&D	GraphSAGE	54.25	75.42	68.25	70.48
Collab	ECC	53.50	74.10	67.79	72.65
Proteins	Set2Set	60.15	78.12	71.75	74.29
Enzymes	SortPool	57.12	79.37	73.76	75.54
D&D	DiffPool-Det	58.33	75.47	82.13	75.62
Collab	DiffPool-NoLP	62.67	79.98	75.63	77.42
Proteins	DiffPool	64.23	81.15	75.50	78.10
Enzymes	Ours	64.17	78.59	74.54	75.46

• 提案された疎プーリング手法は競争的な精度を達成し、DiffPoolバリアントにほぼ匹敵しつつ二乗メモリ使用を回避する。
• Enzymes、D&D、Collab、Proteinsで、モデルは疎GraphSAGEベースラインを上回り、ほとんどのデータセットでDiffPoolバリアントの約1ポイント程度の差に留まる。
• 手法はGPUメモリの挙動が好ましく、DiffPoolがより大きなメモリ要求をする場合にも拡張可能なグラフにスケールする。
• 実験ではOursモデルが試験された手法の中で最良またはほぼ最高スコアを多く達成しており、スパース性に適した階層的プーリングの有効性を裏付ける。