[論文レビュー] Graph Random Neural Network.

Wenzheng Feng, Jie Zhang+6 more|arXiv (Cornell University)|May 22, 2020

Advanced Graph Neural Networks参考文献 61被引用数 7

ひとこと要約

Grandは、半教師付きグラフ学習における頑健性の向上と過剰平滑化・過学習の緩和を目的として、ランダムな伝播を用いるグラフランダムニューラルネットワークを提案する。特徴変換とメッセージパッシングを分離し、ランダムな増強に対する一貫性正則化を活用することで、Grandはベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Graph neural networks (GNNs) have generalized deep learning methods into graph-structured data with promising performance on graph mining tasks. However, existing GNNs often meet complex graph structures with scarce labeled nodes and suffer from the limitations of non-robustness, over-smoothing, and overfitting. To address these issues, we propose a simple yet effective GNN framework---Graph Random Neural Network (Grand). Different from the deterministic propagation in existing GNNs, Grand adopts a random propagation strategy to enhance model robustness. This strategy also naturally enables Grand to decouple the propagation from feature transformation, reducing the risks of over-smoothing and overfitting. Moreover, random propagation acts as an efficient method for graph data augmentation. Based on this, we propose the consistency regularization for Grand by leveraging the distributional consistency of unlabeled nodes in multiple augmentations, improving the generalization capacity of the model. Extensive experiments on graph benchmark datasets suggest that Grand significantly outperforms state-of-the-art GNN baselines on semi-supervised graph learning tasks. Finally, we show that Grand mitigates the issues of over-smoothing and overfitting, and its performance is married with robustness.

研究の動機と目的

• 少数のラベル付きノードを有する複雑なグラフを扱う際の従来のGNNの限界を解消すること。
• 決定論的GNNで一般的に見られる過剰平滑化および過学習の問題を軽減すること。
• ランダム伝播に基づく新しいデータ増強戦略を通じて、モデルの汎化性能を向上させること。
• 複数のランダム増強における分布的安定性を活用した一貫性正則化手法の開発。
• 半教師付きグラフ学習ベンチマークで最先端の性能を達成すること。

提案手法

• GNNにおける決定論的メッセージパッシングを、前方伝播時に隣接ノードを確率的にサンプリングするランダム伝播戦略に置き換える。
• 特徴変換とメッセージパッシングを分離することで、過剰平滑化および過学習のリスクを低減する。
• ランダム伝播メカニズムを用いて複数のランダムグラフ増強を生成し、入力グラフの多様なビューを構築する。
• 同じグラフの異なるランダム増強に対して予測が一貫するようモデルを正則化することで、一貫性正則化を適用する。
• ラベル付きデータと、複数の増強における未ラベルノードに対する一貫性損失を併用して、エンドツーエンドでモデルを学習する。
• 複数回のランダム前方伝播における未ラベルノードの予測の分布的一致性を正則化子として用いる。

実験結果

リサーチクエスチョン

• RQ1 GNNにおけるランダム伝播は、複雑なグラフ構造とラベル不足に強い頑健性を向上させ得るか？
• RQ2 メッセージパッシングと特徴変換の分離は、GNNにおける過剰平滑化および過学習を軽減するか？
• RQ3 ランダム伝播は、グラフニューラルネットワークの有効なデータ増強手法として機能するか？
• RQ4 ランダム増強における一貫性正則化は、半教師付きグラフ学習における汎化性能を向上させるか？
• RQ5 提案されたフレームワークは、半教師付きグラフ学習ベンチマークで最先端のGNNを上回る性能を発揮するか？

主な発見

• Grandは、標準的な半教師付きグラフ学習ベンチマークで、従来の最先端GNNベースラインを顕著に上回った。
• ランダム伝播メカニズムにより、特徴変換とメッセージパッシングの分離によって過剰平滑化が効果的に低減された。
• 複数のランダム増強における一貫性正則化により、モデルの汎化性能と頑健性が向上した。
• 限られたラベル付きノードでも優れた性能を示したため、より高いサンプル効率が得られた。
• 伝播の確率的性質のおかげで、グラフ構造の変化やノイズに対して強靭性を示した。