[論文レビュー] Inductive Graph Representation Learning with Recurrent Graph Neural Networks

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|Apr 17, 2019

Advanced Graph Neural Networks参考文献 18被引用数 5

ひとこと要約

本稿では、再帰的隣接集約中に層をまたいで長期依存関係をモデル化するための再帰的ユニットを用いる、グラフニューラルネットワークの新規クラスである再帰的グラフニューラルネットワーク（RGNNs）を提案する。恒久的な情報を捉え、ノイズをフィルタリングすることで、PubMed、Reddit、PPIのベンチマークで最先端の性能を達成し、より深く、より頑健なグラフ表現学習を可能にする。

ABSTRACT

In this paper, we study the problem of node representation learning with graph neural networks. We present a graph neural network class named recurrent graph neural network (RGNN), that address the shortcomings of prior methods. By using recurrent units to capture the long-term dependency across layers, our methods can successfully identify important information during recursive neighborhood expansion. In our experiments, we show that our model class achieves state-of-the-art results on three benchmarks: the Pubmed, Reddit, and PPI network datasets. Our in-depth analyses also demonstrate that incorporating recurrent units is a simple yet effective method to prevent noisy information in graphs, which enables a deeper graph neural network.

研究の動機と目的

• 隣接集約の過程で層をまたいで長期依存関係を捉えることのできない既存のグラフニューラルネットワークの限界を解決すること。
• 複数の層にわたる恒久的な情報をモデル化することで、ノイズの多いグラフ構造における表現学習を改善すること。
• 再帰的メッセージパッシングの過程でノイズや関係のない特徴の伝搬を軽減することで、より深いグラフニューラルネットワークの構築を可能にすること。
• 複雑な修正を加えずに、シンプルでありながら効果的なアーキテクチャを開発し、ベンチマークグラフデータセットにおける性能を向上させること。

提案手法

• 提案されたRGNNフレームワークは、グラフニューラルネットワーク内に再帰的ユニット（GRUやLSTMなど）を用い、層をまたいで隠れ状態を維持する。
• これらの再帰的ユニットは、複数の層にわたって隣接ノードからのメッセージを集約し、長期依存関係を追跡・更新できるようにする。
• 各層における隠れ状態は、現在のメッセージと直前の隠れ状態を組み合わせる再帰的メカニズムを用いて更新される。
• 最終的なノード表現は、再帰ユニットの最終隠れ状態から導出され、局所的および長距離の構造的情報を両方捉える。
• 逆誤差伝搬の過程で勾配消失の軽減を図り、情報伝達を安定化させることで、より深いネットワークスタックの実現を可能にする。
• この手法は、グラフ構造データ上で標準的なバックプロパゲーションを用いて実行される、エンドツーエンドのノード分類タスクに適用される。

実験結果

リサーチクエスチョン

• RQ1 再帰的ユニットは、再帰的隣接集約の過程で、グラフニューラルネットワーク内に長期依存関係を効果的にモデル化できるか？
• RQ2 再帰的構造を組み込むことで、ノイズの多いグラフ構造における表現学習はどのように向上するか？
• RQ3 再帰的GNNは、性能の劣化を来すことなく、どの程度までより深いアーキテクチャをサポートできるか？
• RQ4 提案されたRGNNフレームワークは、標準的なノード分類ベンチマークで、既存のGNNを上回る性能を示すか？

主な発見

• RGNNモデルは、PubMed、Reddit、PPIのグラフベンチマークデータセットで最先端の性能を達成した。
• 再帰的ユニットの使用により、ノイズの多い特徴の層間伝搬が顕著に減少し、モデルの頑健性が向上した。
• 情報伝達の安定化と複数層にわたる意味のある信号の保持により、再帰的ユニットのおかげでより深いグラフニューラルネットワークの構築が可能になった。
• 実証的分析により、再帰的ユニットが、隣接拡張の過程で重要な構造的パターンを同定・保持するのを助けることが確認された。
• 学術的分野の多様なグラフタイプ（引用ネットワーク、ソーシャルネットワーク、タンパク質-タンパク質相互作用ネットワークなど）において、一貫した改善が示された。
• アブレーションスタディにより、再帰的メカニズムがモデルの優れた性能を実現する鍵要因であることが裏付けられた。