[論文レビュー] Clique pooling for graph classification

Enxhell Luzhnica, Ben Day+1 more|arXiv (Cornell University)|Mar 31, 2019

Graph Theory and Algorithms参考文献 12被引用数 31

ひとこと要約

本稿では、最大クリーク（完全グラフ部分集合）を用いて、トポロジー構造のみに依存してグラフを粗視化する非パrametricなグラフプーリング手法、Clique Poolingを提案する。この手法は解釈可能で、純粋にトポロジカルであり、グラフニューラルネットワークおよび標準的なCNNと両立可能であり、ベンチマークグラフ分類データセットで競争力ある性能を示す。また、標準的な2×2プーリングに置き換えた場合、CIFAR-10でわずかに有意な精度の低下（92.0% 対 92.4%）を示す。

ABSTRACT

We propose a novel graph pooling operation using cliques as the unit pool. As this approach is purely topological, rather than featural, it is more readily interpretable, a better analogue to image coarsening than filtering or pruning techniques, and entirely nonparametric. The operation is implemented within graph convolution network (GCN) and GraphSAGE architectures and tested against standard graph classification benchmarks. In addition, we explore the backwards compatibility of the pooling to regular graphs, demonstrating competitive performance when replacing two-by-two pooling in standard convolutional neural networks (CNNs) with our mechanism.

研究の動機と目的

• 解釈性を高めるために、学習可能なパrameterを一切含まない、完全にトポロジカルな非パrametricなグラフプーリング機構を開発すること。
• 従来のフィルタリングやプルーニングに基づく手法よりも、CNNにおける画像粗視化のより自然な類似物として機能するプーリング操作を構築すること。
• 通常のグラフと完全に互換性を持たせ、VGGのような標準的なCNNアーキテクチャに直接置き換え可能であることを保証すること。
• 計算効率性と安定性を維持しつつ、グラフ分類ベンチマークで競争力ある性能を達成すること。
• パラメトリック手法（例：DiffPool）と同等またはそれを上回る性能を達成できる、非パrametricでトポロジー駆動のプーリング戦略が有効であることを示すこと。

提案手法

• 修正版ブラウン・カーボシュアルゴリズムを用いて、グラフ内のすべての最大クリークを同定する。
• クリークのサイズに基づいてノードをクリークに割り当てる。同率の場合は、ノードを複数のクリークに割り当てる。
• 各クリークが粗視化されたグラフにおけるスーパーノードとなり、構成ノードの特徴量の平均値が特徴量として計算される。
• それぞれのクリークに属するノード間にエッジが存在する場合、対応するスーパーノード間にもエッジが形成される。
• プーリングは複数層にわたり階層的に適用され、平均プーリングと最大プーリングの特徴量を連結することで読み出し関数が構成される。
• このアプローチはGCNおよびGraphSAGEアーキテクチャに統合され、不規則なグラフおよび規則的なグリッド（例：CIFAR-10）に対して評価された。

実験結果

リサーチクエスチョン

• RQ1 完全にトポロジカルで非パラメトリックなプーリング機構は、パラメトリックなグラフプーリング手法を上回るか同等の性能を発揮できるか？
• RQ2 クリークに基づくプーリングは、従来のグラフプーリング技術と比較して、CNNにおける画像粗視化のより自然な類似物として機能するか？
• RQ3 提案手法は、アーキテクチャの変更なしに、標準的なCNNアーキテクチャにスムーズに置き換え可能か？
• RQ4 Clique Poolingは、DiffPool や GraphSAGE といった最先端手法と比較して、標準的なグラフベンチマークでどの程度の性能を示すか？
• RQ5 CNNにおける標準的な2×2マックスプーリングをClique Poolingに置き換えた場合、画像分類精度にどのような影響が生じるか？

主な発見

• Enzymesデータセットでは、Clique Poolingが60.71%の精度を達成し、GraphSAGEベースライン（54.25%）および大多数のカーネルベースおよびGNN手法を上回った。
• DDデータセットでは、Clique Poolingが77.33%の精度を達成し、GraphSAGEベースライン（75.42%）および大多数の他の手法を上回ったが、DiffPoolを除く。
• Proteinsデータセットでは、Clique Poolingが72.59%の精度を達成し、GraphSAGE（68.25%）および大多数の他の非パラメトリック手法を上回った。
• Collabデータセットでは、Clique Poolingが74.50%の精度を達成し、GraphSAGE（70.48%）および大多数の他の非パラメトリックアプローチを上回った。
• CIFAR-10の実験では、Clique Poolingが平均92.0%（標準偏差±0.5%）の精度を示し、2×2マックスプーリングベースライン（92.4%）と比較してわずかだが統計的に有意な低下（p=0.02）を示した。
• この手法は非パラメトリックであり、学習可能なパラメータを一切必要とせず、解釈性を高めるとともに、DiffPoolのような手法で見られる訓練の不安定性を回避できる。