[論文レビュー] Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|Apr 17, 2019

Advanced Graph Neural Networks参考文献 34被引用数 19

ひとこと要約

本稿では、再帰的ユニット（LSTM/GRU）をグラフメッセージパッシングに統合することで、長期的な依存関係を捉え、ノイジーな近隣情報の影響を軽減する、新しいGNNクラス、再帰的グラフニューラルネットワーク（RGNN）を提案する。RGNNは、PubMed、Reddit、PPIの各データセットにおいて、標準的なGNNや残差接続付きGNNを上回る最先端の性能を達成しており、特にノイジーなグラフ構造および特徴量条件下でも顕著な優位性を示す。

ABSTRACT

In this paper, we study the problem of node representation learning with graph neural networks. We present a graph neural network class named recurrent graph neural network (RGNN), that address the shortcomings of prior methods. By using recurrent units to capture the long-term dependency across layers, our methods can successfully identify important information during recursive neighborhood expansion. In our experiments, we show that our model class achieves state-of-the-art results on three benchmarks: the Pubmed, Reddit, and PPI network datasets. Our in-depth analyses also demonstrate that incorporating recurrent units is a simple yet effective method to prevent noisy information in graphs, which enables a deeper graph neural network.

研究の動機と目的

• ノイズの多い近隣情報の伝搬により、より深いGNNの学習が困難になるという課題に対処すること。
• 再帰的ユニットが、より深いGNNアーキテクチャの実現において、残差接続を上回る性能を発揮するかどうかを調査すること。
• 局所的な特徴を保持しつつ、層をまたいで長距離の依存関係を捉えることで、インダクティブ表現学習を向上させること。
• さまざまなGNNおよび再帰的ユニットの組み合わせ（例：LSTM、GRU、IndRNN、SRU）に適用可能な柔軟なフレームワークの開発。

提案手法

• 再帰的ユニット（LSTMまたはGRU）をGNN層の間に挿入することで、隠れ状態を層間で維持する一般化されたフレームワーク、再帰的グラフニューラルネットワーク（RGNN）を導入する。
• ゲート付き再帰ユニットを用いて、再帰的近隣拡張の過程で情報を選択的に保持または忘却することで、長期的な依存関係をモデル化する。
• 履歴的な近隣情報の圧縮を再帰的メカニズムで行い、ノイズの蓄積を低減する。
• さまざまなGNNバリアント（例：GCN、GAT）と異なる再帰的ユニットを組み合わせることができ、モジュラーかつ拡張可能なアーキテクチャ設計を可能にする。
• 各層で標準的なGNNメッセージパッシングメカニズム（例：グラフ畳み込みまたはアテンション）を用い、再帰的ユニットが層間で隠れ状態を更新する。
• 隠れ状態は、標準的なLSTM/GRUの更新ルールに従って更新され、入力ゲート、フォグェットゲート、出力ゲートが層間の情報フローを制御する。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける再帰的ユニットは、深くメッセージパッシングを行う過程で、ノイジーな近隣情報の影響を効果的に抑制できるか？
• RQ2 残差接続を再帰的ユニットに置き換えることで、より深いGNNにおける性能が向上するか？
• RQ3 グラフ構造および特徴量のノイズに対して、RGNNフレームワークは残差接続付きGNNと比べてどれほど頑健か？
• RQ4 LSTMとGRUの違いに関係なく、さまざまなGNNアーキテクチャおよび再帰的ユニットタイプに、RGNNフレームワークは汎用的に適用可能か？
• RQ5 スイープ接続と比較して、再帰的メカニズムはより深いインダクティブグラフ表現学習を実現するためにより効果的か？

主な発見

• RGNNは、教師ありおよび教師なしの両設定において、PubMed、Reddit、PPIの各データセットで最先端の性能を達成している。
• LSTMユニットを搭載したRGNNは、ほとんどの設定でGRUユニットを搭載したRGNNを上回っており、特にノイズレベルが高い状況で顕著な優位性を示す。
• 残差接続付きGNNと比較して、RGNNはグラフ構造の摂動（例：ランダムなエッジ再接続）に対して優れた頑健性を示している。
• 局所的なノード特徴量がガウスノイズによって損なわれても、RGNNは高い性能を維持しており、より優れたノイズフィルタリング能力を示している。
• 残差接続付きGNNの性能は深さが増すと著しく低下する一方、RGNNは深さが増すにつれて性能を維持または向上させる。
• 摂動実験では、LSTMユニットを搭載したRGNNが、グラフ構造およびノード特徴量の両方のノイズレベルが変動する状況でも、最も一貫した頑健性を示している。