[論文レビュー] Graph Pointer Neural Networks

Tianmeng Yang, Yujing Wang+4 more|arXiv (Cornell University)|Oct 3, 2021

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、グラフポインタニューラルネットワーク（GPNN）を提案する。これは、各中心ノードに対して局所的および遠方のノードを的確に特定・順序付けすることで、非局所的でノイズに強く強い特徴抽出を可能にする、新しいGNNフレームワークである。エンド・ツー・エンドの訓練においてポインタネットワークを共同最適化することで、GPNNは過剰平滑化を顕著に低減し、異相性グラフにおけるノード分類精度を向上させ、最先端手法と比較して平均6.3%の向上を達成した。

ABSTRACT

Graph Neural Networks (GNNs) have shown advantages in various graph-based applications. Most existing GNNs assume strong homophily of graph structure and apply permutation-invariant local aggregation of neighbors to learn a representation for each node. However, they fail to generalize to heterophilic graphs, where most neighboring nodes have different labels or features, and the relevant nodes are distant. Few recent studies attempt to address this problem by combining multiple hops of hidden representations of central nodes (i.e., multi-hop-based approaches) or sorting the neighboring nodes based on attention scores (i.e., ranking-based approaches). As a result, these approaches have some apparent limitations. On the one hand, multi-hop-based approaches do not explicitly distinguish relevant nodes from a large number of multi-hop neighborhoods, leading to a severe over-smoothing problem. On the other hand, ranking-based models do not joint-optimize node ranking with end tasks and result in sub-optimal solutions. In this work, we present Graph Pointer Neural Networks (GPNN) to tackle the challenges mentioned above. We leverage a pointer network to select the most relevant nodes from a large amount of multi-hop neighborhoods, which constructs an ordered sequence according to the relationship with the central node. 1D convolution is then applied to extract high-level features from the node sequence. The pointer-network-based ranker in GPNN is joint-optimized with other parts in an end-to-end manner. Extensive experiments are conducted on six public node classification datasets with heterophilic graphs. The results show that GPNN significantly improves the classification performance of state-of-the-art methods. In addition, analyses also reveal the privilege of the proposed GPNN in filtering out irrelevant neighbors and reducing over-smoothing.

研究の動機と目的

• 特徴やラベルが異なるノードが接続される異相性グラフにおいて、従来のGNNの限界を解消すること。
• 深層GNNにおける無差別な近隣ノード集約が引き起こす過剰平滑化問題を克服すること。
• 遠く離れていても意味的に関連性の高いノードを非局所的かつ選択的に集約することで、ノード表現学習を向上させること。
• 非微分可能な順序付け手順による劣悪な解を避けるために、下流タスクと併せてノード順序付けを最適化すること。
• 現実世界の異相性グラフデータセットにおいて、既存手法を上回るスケーラブルで効果的なフレームワークを開発すること。

提案手法

• 各中心ノードの周囲の局所的および多ホップ近傍からノードのシーケンスをサンプリングする。
• ポインタネットワークを用いて、中心ノードに対する関連性に基づき、これらのサンプルノードを順序付け、最も情報量の多い近隣ノードの順序付きシーケンスを生成する。
• 順序付けられたシーケンスに1次元畳み込み層を適用し、高レベルの構造的および意味的特徴を抽出する。
• GNNアーキテクチャの残りの部分と共同で最適化可能な微分可能でエンド・ツー・エンドでトレーニング可能なモジュールとして、ポインタネットワークを統合する。
• 中心ノードのエゴ特徴と、順序付けられた近隣ノードシーケンスからの文脈特徴を統合し、最終的なノード表現を生成する。
• バックプロパゲーションがノード選択と表現学習の両方を同時に最適化できるように、微分可能な順序付けメカニズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンド・ツー・エンドでトレーニング可能なポインタネットワークは、遠く離れたノードであっても、異相性グラフにおいて最も関連性の高い近隣ノードを効果的に特定できるか？
• RQ2 ポインタネットワークを用いた選択的で非局所的な集約は、深層スタックを持つ従来のGNNと比較して、過剰平滑化を軽減するか？
• RQ3 GPNNと非微分可能な順序付け手法（例：Node2Seq）の間で、選択された近隣ノードの同型性比にはどのような差が生じるか？
• RQ4 GPNNは、現実世界の異相性グラフベンチマークにおいて、最先端のGNNと比較して、どの程度ノード分類精度を向上させるか？
• RQ5 ノード順序付けと表現学習の共同最適化は、分離的またはヒューリスティックな順序付け戦略よりも優れた性能をもたらすか？

主な発見

• GPNNは、6つの公開された異相性グラフデータセットにおいて、最も優れた既存の最先端手法と比較して、平均6.3%のノード分類精度向上を達成した。
• Chameleonデータセットでは、2番目に優れた手法と比較して1.9%の性能向上を達成し、Cornellデータセットでは3.0%の向上を示しており、多様なベンチマークで一貫した向上を示した。
• GPNNが選択した5つの最も関連性の高い近隣ノードの同型性比は、Node2Seqのアテンションベース手法で順序付けられた近隣ノードと比較して46%高いことが示され、優れたノードフィルタリング能力を裏付けた。
• GPNNは顕著に過剰平滑化が少ない：Chameleonデータセットにおいて、層数を2から5に増加させた際のテスト精度の低下は6%にとどまり、GCNでは18%、GATでは33%の低下を示した。
• ポインタネットワークのGNNとの共同最適化により、非微分可能な順序付け手法よりも優れた性能が得られ、同型性と精度の両面で顕著な向上が確認された。
• H2GCN や Node2Seq は、多ホップ近隣ノードのうち関連性のあるものとないものを明示的に区別しないが、GPNNは選択的で微分可能な近隣ノード選択の恩恵を明確に示しており、その有効性を裏付けた。