[論文レビュー] Graph Random Neural Network for Semi-Supervised Learning on Graphs

Wenzheng Feng, Jie Zhang+7 more|arXiv (Cornell University)|May 22, 2020

Advanced Graph Neural Networks参考文献 49被引用数 23

ひとこと要約

本稿では、グラフ上の半教師付きノード分類のためのシンプルで効果的なフレームワークであるグラフランダムニューラルネットワーク（Grand）を提案する。Grandは、グラフデータの拡張のためのランダムな伝搬と一貫性正則化を用い、耐性と一般化性能を向上させ、ラベルが少ない状況下でも最先端のGNNを著しく上回る。

ABSTRACT

We study the problem of semi-supervised learning on graphs, for which graph neural networks (GNNs) have been extensively explored. However, most existing GNNs inherently suffer from the limitations of over-smoothing, non-robustness, and weak-generalization when labeled nodes are scarce. In this paper, we propose a simple yet effective framework -- GRAPH RANDOM NEURAL NETWORKS (GRAND) -- to address these issues. In GRAND, we first design a random propagation strategy to perform graph data augmentation. Then we leverage consistency regularization to optimize the prediction consistency of unlabeled nodes across different data augmentations. Extensive experiments on graph benchmark datasets suggest that GRAND significantly outperforms state-of-the-art GNN baselines on semi-supervised node classification. Finally, we show that GRAND mitigates the issues of over-smoothing and non-robustness, exhibiting better generalization behavior than existing GNNs. The source code of GRAND is publicly available at https://github.com/Grand20/grand.

研究の動機と目的

• ラベル付きノードが少ない状況下で、過剰平滑化、非耐性、過学習を引き起こす既存のGNNの限界を解消すること。
• 特徴量の伝搬と変換を分離することで、特定の近隣構造への依存を低減し、モデルの一般化性能を向上させること。
• ランダムな伝搬に基づくデータ拡張戦略を開発し、ラベルなしノードのための多様で一貫性のある表現を生成すること。
• 同じラベルなしノードの複数のランダムな拡張に対して一貫性正則化を適用し、モデルの耐性と性能を向上させること。
• 適切な正則化を施した単純なMLP分類器が、複雑なGNNアーキテクチャを上回ることを示すこと。

提案手法

• ランダムな伝搬の導入：グラフ畳み込みの前段階で、ノード特徴量を確率的にドロップ（部分的または完全に）することで、ランダムなメッセージ伝搬を生成する。
• 伝搬と変換を分離するため、伝搬の前にランダムな摂動を適用することで、複雑さを増すことなく高次元のメッセージ伝搬を可能にする。
• グラフの同型性を用いて、ランダムな伝搬が各ノードに対して多様でありながら意味的に一貫性のある拡張を生成することを正当化する。
• 同じラベルなしノードの複数のランダムな拡張における予測分散を最小化することで、一貫性正則化を適用する。
• ラベル付きノードではクロスエントロピー損失、ラベルなしノードでは一貫性損失を用いて、単純なMLP分類器でモデルを訓練する。
• ランダムな伝搬と一貫性正則化のモデル挙動への影響を理解するための理論的分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 GNNにおけるランダムな伝搬は、敵対的摂動やデータノイズに対して耐性を向上させることができるか？
• RQ2 伝搬と変換を分離することで、深層GNNにおける過剰平滑化が軽減されるか？
• RQ3 ランダムな拡張に対する一貫性正則化は、ラベルが少ない半教師付き学習における一般化性能を向上させるか？
• RQ4 ランダムな伝搬と一貫性正則化を施した単純なMLPベースのモデルは、複雑なGNNアーキテクチャと競合可能か？
• RQ5 Grandは、ラベル率やグラフ構造が変化する状況下でも、最先端のGNNと比較して優れた性能を示すか？

主な発見

• Grandは、複数のベンチマークデータセットにおいて、半教師付きノード分類の最先端GNNベースラインを著しく上回る。
• 伝搬と変換を分離することで、過剰平滑化が緩和され、性能劣化を伴わずにより深いメッセージ伝搬が可能になる。
• 特徴量伝搬の確率的性質のおかげで、敵対的攻撃に対して向上した耐性を示す。
• 複数のランダムな拡張に対する一貫性正則化が、ラベルデータが少ない状況での一般化性能を向上させる。
• 実験結果から、Grandは複雑なGNNよりも単純なMLP分類器のみで優れた性能を達成することが示された。
• 理論的分析により、ランダムな伝搬と一貫性正則化が訓練の安定化と一般化性能の向上に有効であることが裏付けられた。