[論文レビュー] Spectral Clustering with Graph Neural Networks for Graph Pooling

Filippo Maria Bianchi, Daniele Grattarola+1 more|arXiv (Cornell University)|Jun 30, 2019

Complex Network Analysis Techniques参考文献 36被引用数 76

ひとこと要約

本論文は MinCutPool を紹介する。これは連続緩和の minCUT によってクラスタ割り当てを学習する微分可能な GNN ベースのプーリング演算子で、固有分解を回避し、アウト・オブ・サンプルのクラスタリングとエンドツーエンドの学習を可能にする。複数のベンチマークで教師なしノードクラスタリングと教師ありグラフ分類の性能が向上する。

ABSTRACT

Spectral clustering (SC) is a popular clustering technique to find strongly connected communities on a graph. SC can be used in Graph Neural Networks (GNNs) to implement pooling operations that aggregate nodes belonging to the same cluster. However, the eigendecomposition of the Laplacian is expensive and, since clustering results are graph-specific, pooling methods based on SC must perform a new optimization for each new sample. In this paper, we propose a graph clustering approach that addresses these limitations of SC. We formulate a continuous relaxation of the normalized minCUT problem and train a GNN to compute cluster assignments that minimize this objective. Our GNN-based implementation is differentiable, does not require to compute the spectral decomposition, and learns a clustering function that can be quickly evaluated on out-of-sample graphs. From the proposed clustering method, we design a graph pooling operator that overcomes some important limitations of state-of-the-art graph pooling techniques and achieves the best performance in several supervised and unsupervised tasks.

研究の動機と目的

• GNNにおけるプーリングを、ノード特徴を取り入れたスペクトルクラスタリングの principled でスケーラブルな代替手段として動機付ける。
• 正規化された minCUT 目的関数を近似する微分可能な GNN ベースのクラスタリング手法を開発する。
• エンドツーエンド訓練を可能にしつつ、グラフを縮小するグラフプーリング演算子（MinCutPool）を導出する。
• 転用可能なクラスタリング関数を学習してアウトオブサンプルのクラスタリングを可能にする。
• 教師なしおよび教師ありタスクで最先端のプーリング法に対する改善を実証する。

提案手法

• 正規化された minCUT 目的の連続緩和を定式化し、GNN を訓練してソフトクラスタ割り当て S を出力させる。
• 入力グラフ上のメッセージパッシングを用いてノード表現を計算し、それらを softmax を用いる MLP に通して S を得る。
• minCUT (Lc) を近似し、ほぼ直交でバランスの取れたクラスタを強制する無監督損失 Lu = Lc + Lo を定義する。
• MinCutPool を導出する。S を用いて Xpool = S^T X および Apool = S^T Ã S を生成するプーリング層で、後続の MP 層のために Âpool を生成するための後処理正規化を含む。
• クラスタリング品質と下流性能のバランスを取るため、タスク固有の損失でエンドツーエンド訓練を行う。
• 深い GNN アーキテクチャの階層的な積み重ねが可能な微分可能なプーリングを提供する。

実験結果

リサーチクエスチョン

• RQ1 GNN はラプラシアン固有ベクトルを計算せずにスペクトル minCUT 目的を近似するクラスタリング関数を学習できるか。
• RQ2 微分可能な MinCutPool は、モデルフリーおよび他のモデルベースのプーリング手法と比較してクラスタリング品質と下流のグラフタスク性能を改善するか。
• RQ3 学習されたプーリングはアウトオブサンプルのグラフに一般化し、教師ありタスクのエンドツーエンド訓練を可能にするか。
• RQ4 minCUT 目的とタスク損失を共同最適化することが、退化したクラスタリング解を回避する上でどのような影響を与えるか。
• RQ5 ベンチマーク全体で、MinCutPool の教師なしノードクラスタリングと教師ありグラフ分類における実証的な利得は何か。

主な発見

• MinCutPool はいくつかのタスクで最先端のプーリング法と比べて優位または競争力のある性能を達成する。
• 提案された無監督損失と直交正則化は、実践的には退化したクラスタリング解を回避するのに役立つ。
• MinCutPool は自動エンコーダ評価において、競合するプーリング法よりも再構成と情報保持が向上する。
• 教師ありグラフ分類では、複数のデータセットで MinCutPool は他のプーリング戦略と同等またはそれ以上の精度を一貫して達成する。
• このアプローチは、スペクトル分解を必要とせず、エンドツーエンド訓練とより深い階層的グラフ表現を可能にする。