[論文レビュー] Graph Convolutional Networks with EigenPooling

Yao Ma, Suhang Wang+2 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Graph Neural Networks参考文献 51被引用数 9

ひとこと要約

本稿では、階層的グラフ表現学習中に局所的サブグラフ構造を保持するため、グラフフーリエ変換を活用する新しいグラフプーリング演算子、EigenPoolingを提案する。サブグラフの固有ベクトルを用いてノード特徴量を集約することで、GCNベースのフレームワーク、EigenGCNを構築可能にし、局所的およびグローバルな構造的情報を効果的に捉えることで、6つのベンチマークグラフ分類データセットで最先端の性能を達成する。

ABSTRACT

Graph neural networks, which generalize deep neural network models to graph structured data, have attracted increasing attention in recent years. They usually learn node representations by transforming, propagating and aggregating node features and have been proven to improve the performance of many graph related tasks such as node classification and link prediction. To apply graph neural networks for the graph classification task, approaches to generate the extit{graph representation} from node representations are demanded. A common way is to globally combine the node representations. However, rich structural information is overlooked. Thus a hierarchical pooling procedure is desired to preserve the graph structure during the graph representation learning. There are some recent works on hierarchically learning graph representation analogous to the pooling step in conventional convolutional neural (CNN) networks. However, the local structural information is still largely neglected during the pooling process. In this paper, we introduce a pooling operator $\pooling$ based on graph Fourier transform, which can utilize the node features and local structures during the pooling process. We then design pooling layers based on the pooling operator, which are further combined with traditional GCN convolutional layers to form a graph neural network framework $\m$ for graph classification. Theoretical analysis is provided to understand $\pooling$ from both local and global perspectives. Experimental results of the graph classification task on $6$ commonly used benchmarks demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• グラフニューラルネットワークにおけるグローバルプーリングの限界、特にグラフ表現学習時に局所的構造的情報を無視する問題に対処すること。
• ノード特徴量と局所的サブグラフ構造を統合したプーリング演算子を設計し、より情報豊かなスーパーノード表現を実現すること。
• 分類タスクのための効果的なグラフレベル表現学習を可能にする階層的グラフニューラルネットワークフレームワークを構築すること。
• EigenPooling演算子の局所的およびグローバルな観点からの理論的分析を実施すること。
• 標準的なグラフ分類ベンチマーク上での提案フレームワークの有効性を実験的に検証すること。

提案手法

• 局所的サブグラフのグラフフーリエ変換に基づく、固有ベクトルを用いてノード特徴量を要約するとともに構造的文脈を保持するEigenPoolingというプーリング演算子を提案する。
• サブグラフに基づくグラフ粗化戦略と組み合わせたEigenPoolingを用いて、階層的表現を構築するプーリング層を構築する。
• 標準的なグラフ畳み込みネットワーク（GCN）畳み込み層とEigenPooling層を統合し、エンドツーエンドのグラフ分類を可能にするEigenGCNフレームワークを構築する。
• 各サブグラフのラプラシアン行列の固有ベクトルを、ノード特徴量をスーパーノード表現に投影・集約するための学習可能または固定の基底関数として用いる。
• 各粗化レベルにおける表現を精緻化するために、プールドされた特徴量に学習可能な変換を適用する。
• グラフ分類のための交差エントロピー損失を用いた標準的なバックプロパゲーションにより、全EigenGCNモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 局所的サブグラフ構造を組み込んだプーリング演算子は、分類タスクのためのグラフ表現学習を改善できるか？
• RQ2 平均値プーリングやマックスプーリングといった従来のプーリング手法と比較して、EigenPoolingは構造的情報をどのように効果的に捉えているか？
• RQ3 EigenGCNフレームワークは、標準的なグラフ分類ベンチマークで、既存の最先端モデルをどの程度上回るか？
• RQ4 EigenPoolingが局所的およびグローバルなグラフ構造を保持できる理論的根拠は何か？
• RQ5 EigenGCNは、異なるグラフにおけるサブグラフサイズや構造的多様性の変動に対して、どの程度頑健か？

主な発見

• EigenGCNは、6つの一般的に使用されるグラフ分類ベンチマークで最先端の性能を達成し、大多数のケースで既存手法を上回った。
• 提案されたEigenPooling演算子は、標準的なプーリング手法が無視する局所的構造パターンを捉えることで、グラフ表現学習を顕著に改善した。
• 理論的分析により、スペクトル分解を通じてEigenPoolingが局所的サブグラフ構造とグローバルなグラフ特性の両方を保持していることが確認された。
• 実験的結果により、分子ネットワークやソーシャルネットワークを含む多様なグラフタイプにおいて、EigenGCNが一貫して性能向上を示した。
• EigenPoolingを用いた階層的粗化プロセスにより、重要な構造的情報を失うことなく、効果的なグラフレベル表現学習が可能になった。
• アブレーションスタディの結果、EigenPoolingのスペクトル的側面を除去すると性能が著しく低下し、その構造的感度が裏付けられた。