[論文レビュー] Representation Learning on Graphs with Jumping Knowledge Networks

Keyulu Xu, Chengtao Li+4 more|arXiv (Cornell University)|Jun 9, 2018

Advanced Graph Neural Networks参考文献 21被引用数 726

ひとこと要約

JK-Nets は各ノードに対して近傍レンジを適応的に結合し、標準の GCN/GAT より性能を向上させ、多様なグラフ全体で GraphSAGE や GAT といったベースモデルを一貫して底上げします。

ABSTRACT

Recent deep learning approaches for representation learning on graphs follow a neighborhood aggregation procedure. We analyze some important properties of these models, and propose a strategy to overcome those. In particular, the range of "neighboring" nodes that a node's representation draws from strongly depends on the graph structure, analogous to the spread of a random walk. To adapt to local neighborhood properties and tasks, we explore an architecture -- jumping knowledge (JK) networks -- that flexibly leverages, for each node, different neighborhood ranges to enable better structure-aware representation. In a number of experiments on social, bioinformatics and citation networks, we demonstrate that our model achieves state-of-the-art performance. Furthermore, combining the JK framework with models like Graph Convolutional Networks, GraphSAGE and Graph Attention Networks consistently improves those models' performance.

研究の動機と目的

• グラフニューラルネットワークにおける固定レンジの近傍集約の動機付けと限界の分析。
• ノードごとに複数の近傍レンジから情報を適応的に選択する JK-Nets を提案。
• 基盤モデル（GCN、GraphSAGE、GAT）と組み合わせた場合に JK-Nets が性能を向上させることを示す。
• 複数のデータセット（Citeseer、Cora、Reddit、PPI）で経験的評価を行い、グラフ構造全体における堅牢性を示す。

提案手法

• 複数層の表現を選択的に結合する最終層集約で終わる Jumping Knowledge (JK) フレームワークを導入。
• 多層表現を結合するための 3 つの JK 集約オプションを提供：Concat、MaxPooling、LSTM-attention。
• 集約の影響分布とランダムウォークとの理論的関係を確立し、max-pooling を用いた JK-Net が k ステップのランダムウォーク分布の混合を誘発することを証明。
• JK を GCN、GraphSAGE、GAT アーキテクチャに組み込んだ場合の適合性と改善を示す。

実験結果

リサーチクエスチョン

• RQ1 適応的でノード特有の近傍レンジの選択は、グラフニューラルネットワークにおける固定レンジの集約を上回ることができるか？
• RQ2 JK-Nets はグラフ上の情報拡散のランダムウォーク解釈とどのように関連するか？
• RQ3 さまざまなグラフドメインで異なるベースモデルと組み合わせた場合、JK-Nets は一貫して性能を向上させるか？
• RQ4 citation、social/reddit、そして生物学的ネットワークにおける JK-Nets の経験的利得は何か？

主な発見

• JK-Nets は Citeseer および Cora データセットにおいて、テストされた層構成全般で GCN および GAT のベースラインを上回る。
• Citeseer では、簡易な集約を用いる JK-Nets が 1 層で最大 0.78 の精度を達成し、6 層では競争力のある性能を示す（例: JK-MaxPool 1: 77.7、JK-Concat 1: 78.3、JK-LSTM 2: 74.7）。
• Cora では 6 層で最良の性能を達成（例: JK-MaxPool 6: 89.6、JK-Concat 6: 89.1、JK-LSTM 1: 85.8）。
• Reddit では GraphSAGE をベースとし、MaxPool+Concat 集約を用いた JK-Net が Micro-F1 最大 0.965 に達し、基礎となる GraphSAGE を上回る。
• PPI では LSTM-attention を用いた JK-Nets がベースライン（GAT、GraphSAGE の派生モデル）を上回り、Micro-F1 は構成にわたって 0.969–0.976 に達する。
• JK-LSTM および他の適応的な JK バリアントは、固定レンジ手法が劣る多様な部分グラフ構造を持つグラフ（例: PPI）で特に優れている。