[論文レビュー] Graph-MLP: Node Classification without Message Passing in Graph

Hu Yang, Haoxuan You+4 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Graph Neural Networks参考文献 32被引用数 50

ひとこと要約

Graph-MLP は、近傍対照（NContrast）loss によって導かれる純粋な MLP フレームワークでノード分類を効果的に行えることを示し、フォワードパス中の明示的なメッセージパッシングを省略しつつ、GNN と同等またはそれ以上の結果を実現します。

ABSTRACT

Graph Neural Network (GNN) has been demonstrated its effectiveness in dealing with non-Euclidean structural data. Both spatial-based and spectral-based GNNs are relying on adjacency matrix to guide message passing among neighbors during feature aggregation. Recent works have mainly focused on powerful message passing modules, however, in this paper, we show that none of the message passing modules is necessary. Instead, we propose a pure multilayer-perceptron-based framework, Graph-MLP with the supervision signal leveraging graph structure, which is sufficient for learning discriminative node representation. In model-level, Graph-MLP only includes multi-layer perceptrons, activation function, and layer normalization. In the loss level, we design a neighboring contrastive (NContrast) loss to bridge the gap between GNNs and MLPs by utilizing the adjacency information implicitly. This design allows our model to be lighter and more robust when facing large-scale graph data and corrupted adjacency information. Extensive experiments prove that even without adjacency information in testing phase, our framework can still reach comparable and even superior performance against the state-of-the-art models in the graph node classification task.

研究の動機と目的

• グラフ上で明示的なメッセージパッシングを避けてノード表現を学習する動機付け。
• グラフノード分類のための純粋なMLPベースのアーキテクチャを導入。
• MLP にグラフ構造監視を注入するための近傍対照loss を設計。
• 特に改ざんされたり欠落した隣接情報に対して頑健性と効率性の利点を示す。

提案手法

• 線形層、GELU活性化、レイヤー正規化、ドロップアウトを用いた純粋なMLPアーキテクチャを使用。
• r-hop 隣接を陽性、非隣接を陰性とする NContrast loss を導入し、陽性ウェイトとして A^r を用いる。
• 訓練時にクロスエントロピー分類損失と NContrast loss を組み合わせる（loss_final = loss_CE + alpha * loss_NC）。
• 前方パスで隣接行列を必要とせず、隣接は損失計算時のみ使用されるエンドツーエンドの訓練。
• 推論はノード特徴量のみを用い、隣接情報の改ざんや欠落に対して頑健性を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的なメッセージパッシングなしに純粋なMLPモデルが識別性の高いグラフノード表現を学習できるか。
• RQ2 損失関数内で隣接情報を活用する近傍対照 loss が競合力のあるノード分類性能を達成するか。
• RQ3 従来のGNNと比較して、改ざんされたり欠落した隣接情報下で Graph-MLP はどのように性能を発揮するか。

主な発見

Model	Cora	Citeseer	Pubmed
DeepWalk	70.7	51.4	76.8
AdaLNet	80.4	68.7	78.1
LNet	79.5	66.2	78.3
GCN	81.5	70.3	79.0
GAT	83.0	72.5	79.0
DGI	82.3	71.8	76.8
SGC	81.0	71.9	78.9
MLP (alpha=0)	57.8	54.7	73.3
Graph-MLP	79.5	73.1	79.7

• Graph-MLP は Citeseer および Pubmed で競合的または優越的な精度を達成し、Cora でも同等の性能を示している。
• 隣接伝搬を明示的に回避することで、訓練と推論の効率性が高まる。
• NContrast loss は vanilla MLP に対して大幅な改善を提供し、データセット上で大きなマージンの向上をもたらす（例: alpha > 0 の場合 Cora で 21.7%、Citeseer で 18.4%、Pubmed で 6.4% の改善）。
• 推論時にも従来の GCN ベースモデルと異なり、改ざんされた隣接情報に対して頑健性を維持する。
• アブレーション研究は複数のハイパーパラメータに対する頑強性を示し、より大きな alpha が一部のデータセットで性能を改善することを示す。