[論文レビュー] Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview

Jiawei Zhang|arXiv (Cornell University)|Aug 1, 2019

Advanced Graph Neural Networks参考文献 7被引用数 6

ひとこと要約

本稿は、小規模グラフ（例：分子や脳ネットワーク）と巨大ネットワーク（例：ソーシャルネットワークや引用ネットワーク）の2種類のグラフタイプに特化したグラフニューラルネットワーク（GNN）の包括的概要を提供する。10種類のGNNモデル—小規模グラフ向けにIsoNN、SDBN、LF&ERを、巨大ネットワーク向けにGCN、GAT、DifNN、GNL、GraphSage、seGENを対象として、それらのアーキテクチャ、メカニズム、パフォーマンスを詳細に調査し、過剰平滑化、最適化非効率性、および2種類のグラフタイプに共通する統一モデルの欠如といった主な課題を特定する。

ABSTRACT

Graph neural networks denote a group of neural network models introduced for the representation learning tasks on graph data specifically. Graph neural networks have been demonstrated to be effective for capturing network structure information, and the learned representations can achieve the state-of-the-art performance on node and graph classification tasks. Besides the different application scenarios, the architectures of graph neural network models also depend on the studied graph types a lot. Graph data studied in research can be generally categorized into two main types, i.e., small graphs vs. giant networks, which differ from each other a lot in the size, instance number and label annotation. Several different types of graph neural network models have been introduced for learning the representations from such different types of graphs already. In this paper, for these two different types of graph data, we will introduce the graph neural networks introduced in recent years. To be more specific, the graph neural networks introduced in this paper include IsoNN, SDBN, LF&ER, GCN, GAT, DifNN, GNL, GraphSage and seGEN. Among these graph neural network models, IsoNN, SDBN and LF&ER are initially proposed for small graphs and the remaining ones are initially proposed for giant networks instead. The readers are also suggested to refer to these papers for detailed information when reading this tutorial paper.

研究の動機と目的

• 小規模グラフと巨大ネットワークの2種類の異なるグラフタイプに特化したグラフニューラルネットワークモデルを体系的に分類・比較すること。
• 小規模グラフ（全体のグラフ表現に焦点を当てた）向けと巨大ネットワーク（ノードレベルの表現に焦点を当てた）向けのGNN間のアーキテクチャ的・手法的差異を特定すること。
• GNN研究における主な課題、特に過剰平滑化、最適化非効率性、およびグラフタイプ間で統一されたモデルの欠如を強調すること。
• 動的かつ異種ネットワーク学習といったオープンな問題を提示することで、今後の研究の基盤を提供すること。
• GNNを用いたグラフ表現学習に従事する研究者にとってのチュートリアルおよび参考資料として機能すること。

提案手法

• 小規模グラフの不変表現を学習するために、グラフ同型性層とミニマムプールィングを用いるIsoNNを導入。ノード順列の比較により、表現を学習する。
• 対称性に配慮した処理を可能にするために、グラフの再順序付けと構造的増強を組み合わせたSDBNを提案。小規模グラフの表現学習を強化する。
• エンドツーエンド学習により、小規模グラフから低次元の潜在特徴を学習する深層オートエンコーダー枠組みであるLF&ERを採用。
• 巨大ネットワークにおける近隣情報の効率的集約のため、GCNのスペクトル畳み込み近似を用い、固定次数多項式で実装する。
• GATのマルチヘッドアテンションメカニズムを活用し、隣接ノードの寄与度を動的に重み付けすることで、巨大ネットワーク学習におけるロバスト性を向上させる。
• seGENは、複数のグラフサンプリング戦略（BFS、DFSなど）とアンサンブル学習を組み合わせたハイブリッドモデルであり、巨大ネットワークにおけるノード表現のロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 小規模グラフと巨大ネットワークの間で、GNNアーキテクチャの設計と目的はどのように異なるのか？
• RQ2 小規模グラフでは個々のノードではなく全体のグラフがラベル付けされるが、そのような状況で効果的な表現学習を可能にするメカニズムは何か？
• RQ3 GNNを巨大ネットワークにスケーリングする際の主な課題、特に過剰平滑化と高い計算コストは何か？
• RQ4 アーキテクチャの変更なしに、小規模グラフと巨大ネットワークの両方を効果的に表現できる統一されたGNNアーキテクチャを開発できるか？
• RQ5 現実世界の応用において、動的かつ異種ネットワーク構造を扱うためにGNNをどのように拡張できるか？

主な発見

• GCNとGATは、スペクトル的およびアテンションベースの集約を活用することで、巨大ネットワークにおけるノード分類タスクで最先端のパフォーマンスを達成している。
• DifNNとGNLは、メッセージパッシング中に元の入力と動的状態情報を保持するゲーテッド拡散ユニットを用いることで、過剰平滑化問題を緩和している。
• seGENは、複数のサンプリング戦略（BFS、DFSなど）を組み合わせ、それらの出力をグローバルアンサンブルで平均化することで、ノード表現のロバスト性を向上させている。
• GNNの時間計算量は、ネットワークサイズに比例して2乗増加し、深さに伴い指数関数的に増加するため、最適化において顕著な課題を呈する。
• 現在のGNNモデルでは、小規模グラフと巨大ネットワークの両方を同時に効果的に表現するモデルは存在せず、これは重要な研究ギャップを示している。
• 現在のGNNは主に同種ネットワークに焦点を当てており、多様なノード型・エッジ型を有する異種ネットワークのモデリングは、大きな研究機会を残している。