[論文レビュー] Random Features Strengthen Graph Neural Networks

Ryoma Sato, Makoto Yamada+1 more|arXiv (Cornell University)|Feb 8, 2020

Advanced Graph Neural Networks被引用数 10

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）の各ノードにランダム特徴量を追加する手法を提案し、この単純な修正が表現力の大幅な向上を実現することを示している。この手法により、GNNがランダム化アルゴリズムを学習可能となり、最小支配集合（MDS）や最大マッチング（MM）といった組合せ最適化問題において、任意に大きなグラフに対しても近似的に最適な近似比を達成する一方で、実世界のデータセットでも性能を維持することができる。

ABSTRACT

Graph neural networks (GNNs) are powerful machine learning models for various graph learning tasks. Recently, the limitations of the expressive power of various GNN models have been revealed. For example, GNNs cannot distinguish some non-isomorphic graphs and they cannot learn efficient graph algorithms. In this paper, we demonstrate that GNNs become powerful just by adding a random feature to each node. We prove that the random features enable GNNs to learn almost optimal polynomial-time approximation algorithms for the minimum dominating set problem and maximum matching problem in terms of approximation ratios. The main advantage of our method is that it can be combined with off-the-shelf GNN models with slight modifications. Through experiments, we show that the addition of random features enables GNNs to solve various problems that normal GNNs, including the graph convolutional networks (GCNs) and graph isomorphism networks (GINs), cannot solve.

研究の動機と目的

• 標準GNNの理論的限界、すなわち特定の非同型グラフを区別できないこと、および効率的なグラフアルゴリズムを学習できないことに対処すること。
• 最小支配集合（MDS）や最大マッチング（MM）といったNP困難な組合せ最適化問題に対するGNNの近似比を向上させること。
• アーキテクチャの変更やグラフ構造に関する事前知識を必要とせずに、GNNの表現力を向上させる手法を開発すること。
• 任意のサイズ、ひいては無限大のサイズのグラフに対しても、この手法が有効かつ一般化可能であることを保証すること。
• ランダム特徴量が、サイクルや局所的クラスタリング係数といった複雑な部分構造をGNNが暗黙的に学習可能であることを示すこと。

提案手法

• 各ノードにランダム特徴量を追加し、rGIN（ランダム特徴量を備えたグラフ同型性ネットワーク）と呼ぶ変種を提案する。
• ノードごとに独立同分布（i.i.d.）に生成されたランダム特徴量ベクトルを導入し、各順伝播処理で再サンプリングすることで、モデルがランダム化アルゴリズムをシミュレート可能にする。
• rGINが、既知の最良の多項式時間アルゴリズムと同等の近似比（下位の項を除いて）を学習できることを理論的に証明する。
• rGINと定数時間分散型ランダムアルゴリズムとの理論的同等性を確立し、理論的保証の移行を可能にする。
• GCN や GIN などのメッセージパッシングGNNに最小限の変更を加えて適用可能であり、既存のフレームワークと互換性を保つ。
• t-SNE可視化とAUCスコアを用いて、rGINが意味のある表現を学習し、異なるランダムシードやグラフサイズにわたって一般化できることを実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 ノードにランダム特徴量を追加することで、1-WLテストを超えるGNNの表現力が著しく向上するか？
• RQ2 rGINは、MDS や MM といった基本的なグラフ問題において、近似的に最適な近似比を達成できるか？
• RQ3 ランダム特徴量の追加により、標準GNNが失敗する場合でも、三角形やサイクルといった局所的部分構造をGNNが区別できるか？
• RQ4 rGINは、実世界のグラフデータセットにおいて、従来の性能を損なわず、あるいはそれ以上に性能を向上できるか？
• RQ5 rGINの理論的優位性が、任意のサイズ、ひいては無限大のサイズのグラフに対しても保たれるか？

主な発見

• rGINは最小支配集合問題において、$ H(\Delta+1) + \varepsilon $ の近似比を達成し、下位の項を除いて既知の最良の多項式時間アルゴリズムと同等である。
• 最大マッチング問題において、rGINは $ 1 + \varepsilon $ の近似比を達成しており、既知の下界と一致し、$ \varepsilon $ を除いて最適である。
• rGINはMDSの逐次的グリーディアルゴリズムを学習できており、100ノードのテストグラフで高いAUCスコアが得られたが、標準的なGINやGCNはこのパターンを学習できなかった。
• この手法により、GNNが三角形の検出や局所的クラスタリング係数の計算が可能となり、標準GNNでは不可能だった。
• 実世界のデータセット（MUTAG, NCI1, PROTEINS）において、rGINは2つのタスクでGINより統計的に有意な向上を示したが、他のタスクでは性能低下が見られなかった。
• 異なるランダムシードに対して安定したt-SNE可視化が得られ、ノード埋め込みの安定性が確認されたことから、rGINはランダム特徴量の変動に対して頑健であることが示された。