[論文レビュー] RAW-GNN: RAndom Walk Aggregation based Graph Neural Network

Di Jin, Rui Wang+5 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

この論文では、幅優先探索（BFS）および深さ優先探索（DFS）のランダムウォークを用いて経路ベースの近傍を生成し、従来の近傍集約に代わる新しいグラフニューラルネットワークであるRAW-GNNを提案する。RNNベースの集約器とアテンション機構を用いて、同型性（BFS）と異型性（DFS）の信号を統合することで、同型性および異型性の両方のグラフで最先端の性能を達成し、異型性データセットでは既存手法よりも最大10.35%の性能向上を達成した。

ABSTRACT

Graph-Convolution-based methods have been successfully applied to representation learning on homophily graphs where nodes with the same label or similar attributes tend to connect with one another. Due to the homophily assumption of Graph Convolutional Networks (GCNs) that these methods use, they are not suitable for heterophily graphs where nodes with different labels or dissimilar attributes tend to be adjacent. Several methods have attempted to address this heterophily problem, but they do not change the fundamental aggregation mechanism of GCNs because they rely on summation operators to aggregate information from neighboring nodes, which is implicitly subject to the homophily assumption. Here, we introduce a novel aggregation mechanism and develop a RAndom Walk Aggregation-based Graph Neural Network (called RAW-GNN) method. The proposed approach integrates the random walk strategy with graph neural networks. The new method utilizes breadth-first random walk search to capture homophily information and depth-first search to collect heterophily information. It replaces the conventional neighborhoods with path-based neighborhoods and introduces a new path-based aggregator based on Recurrent Neural Networks. These designs make RAW-GNN suitable for both homophily and heterophily graphs. Extensive experimental results showed that the new method achieved state-of-the-art performance on a variety of homophily and heterophily graphs.

研究の動機と目的

• GCNの異型性グラフにおける限界、特に異なるラベルのノード同士が接続されている状況を解消すること。
• 和集合演算子に基づく従来のGCN集約メカニズムに内在する暗黙の同型性バイアスを克服すること。
• 単一のモデルで同型性および異型性の両パターンを効果的に捉える統一されたGNNフレームワークを構築すること。
• 低同型性または同型性がほとんどない実世界のグラフを含む、多様なグラフにおけるノード分類性能の向上を図ること。

提案手法

• 本手法は、同型性に適した幅優先探索（BFS）と異型性に適した深さ優先探索（DFS）を用いて経路ベースの近傍を生成する。
• 従来の近傍集約を、ランダムウォーク経路に沿った順序付き近傍特徴をモデル化するRNNベースの逐次符号号化器に置き換える。
• BFSチャネルとDFSチャネルからの埋め込みを統合するためにアテンション機構を用い、同型性と異型性の信号の間で適応的かつ柔軟なトレードオフを実現する。
• 戦略固有の埋め込みを連結することでノード表現を形成し、情報の混合を防ぎ、異なる構造的パターンを保持する。
• ノード分類タスクのための交差エントロピー損失を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ラベル誘導型または距離に基づく集約に依存せずに、同型性および異型性の両方のグラフを効果的に処理できるGNNフレームワークは存在するか？
• RQ2 ランダムウォークに基づく経路近傍は、異型性が優勢なグラフにおいて表現学習を改善するか？
• RQ3 標準的な和集合またはアテンションベースの集約器と比較して、RNNベースの集約器は順序付き近傍特徴をよりよくモデル化できるか？
• RQ4 BFSとDFSチャネルのアテンションベース統合は、さまざまな種類のグラフにおいてモデル性能にどのように影響を与えるか？

主な発見

• RAW-GNNは7つの実世界データセットのうち5つで最先端の性能を達成し、4つの異型性優勢ネットワーク（Texas, Wisconsin, Cornell, Actor）をすべて含む。
• Actorデータセットでは、2番目に優れた手法よりも10.35%の精度向上を達成し、異型性環境下での顕著な優位性を示した。
• Coraデータセットでは、すべてのベースライン中で最高の精度（84.86%）を達成し、GCNとGraphSAGEをそれぞれ1.32%および0.87%上回った。
• Coraにおける可視化では、t-SNEプロットでRAW-GNNが最も明確なクラス境界を生成し、クラスの混合が最小限に抑えられていた。
• 特徴同型性比（F.H.R < 0.2）が低いデータセットでは、最適なパス長さが長くなる傾向があり、異型性グラフの隠れた近傍構造を捉えるためにより大きな受容領域が必要であることが示唆された。