[論文レビュー] Distance Encoding -- Design Provably More Powerful GNNs for Structural Representation Learning

Pan Li, Yanbang Wang+2 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Graph Neural Networks参考文献 47被引用数 23

ひとこと要約

本稿では、1-Weisfeiler-Lehmanテストを超える表現力を備えたGNNの性能を向上させるための一般化された構造的特徴である距離符号化（DE）を提案する。DEは、ターゲットノード集合からの距離を各ノードに符号化することで、ノードの役割予測、リンク予測、三角形予測の性能を向上させ、標準GNNや最先端のベースラインと比較して最大15%高い精度とAUCを達成する。

ABSTRACT

Learning structural representations of node sets from graph-structured data is crucial for applications ranging from node-role discovery to link prediction and molecule classification. Graph Neural Networks (GNNs) have achieved great success in structural representation learning. However, most GNNs are limited by the 1-Weisfeiler-Lehman (WL) test and thus possible to generate identical representation for structures and graphs that are actually different. More powerful GNNs, proposed recently by mimicking higher-order-WL tests, only focus on entire-graph representations and cannot utilize sparsity of the graph structure to be computationally efficient. Here we propose a general class of structure-related features, termed Distance Encoding (DE), to assist GNNs in representing node sets with arbitrary sizes with strictly more expressive power than the 1-WL test. DE essentially captures the distance between the node set whose representation is to be learnt and each node in the graph, which includes important graph-related measures such as shortest-path-distance and generalized PageRank scores. We propose two general frameworks for GNNs to use DEs (1) as extra node attributes and (2) further as controllers of message aggregation in GNNs. Both frameworks may still utilize the sparse structure to keep scalability to process large graphs. In theory, we prove that these two frameworks can distinguish node sets embedded in almost all regular graphs where traditional GNNs always fail. We also rigorously analyze their limitations. Empirically, we evaluate these two frameworks on node structural roles prediction, link prediction and triangle prediction over six real networks. The results show that our models outperform GNNs without DEs by up-to 15% improvement in average accuracy and AUC. Our models also significantly outperform other SOTA baselines particularly designed for those tasks.

研究の動機と目的

• 標準GNNが1-Weisfeiler-Lehman（1-WL）テストによって制限を受けており、構造的に異なるグラフを区別できないという限界を解決すること。
• 構造的表現学習において、1-WLベースのGNNを上回る明示的な表現力を備えた、一般的かつスケーラブルな手法を開発すること。
• 任意のサイズのノード集合の表現学習において、グラフのスパarsityを効果的に活用できるようにGNNを拡張すること。
• 計算効率を損なわずに、距離測定を用いてグローバルな構造的文脈を捉える特徴工学的手法を設計すること。

提案手法

• 最短経路距離や一般化されたPageRankスコアなどの測定値を用いて、グラフ内の各ノードからターゲットノード集合までの距離を符号化する構造関連特徴として距離符号化（DE）を導入する。
• DEをGNNにおける追加のノード属性として統合し、ノード表現にグローバルな構造的文脈を豊かにする。
• DEをメッセージ集約の制御要因として用いることで、GNNのメッセージスワッピングメカニズムを拡張し、距離に依存する動的で情報に適応した情報伝達を可能にする。
• グラフのスパース構造を維持することで計算効率を確保し、大規模グラフへのスケーラビリティを実現する。
• 理論的分析により、両方のDE統合フレームワークが、1-WLベースのGNNが失敗するほぼすべての正則グラフにおいてノード集合を区別できることを証明する。
• グラフ同型性理論を用いて、提案フレームワークの表現力を形式化し、非同型グラフを区別する能力が1-WLテストを上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 距離符号化（DE）は、構造的表現学習において1-WLベースのGNNよりも明示的に表現力が高い代替手段を提供できるか？
• RQ2 DEは、大規模でスパースなグラフにおいても計算効率を維持できるように、GNNにどのように統合できるか？
• RQ3 DEを強化したGNNは、ノードの構造的役割予測、リンク予測、三角形予測タスクにおいてどの程度性能向上を達成するか？
• RQ4 提案されたDEベースのフレームワークは、グラフ構造の区別において、どのような理論的限界を有するか？

主な発見

• 提案されたDEベースのGNNフレームワークは、6つの実世界ネットワークにおいてノード構造的役割予測、リンク予測、三角形予測タスクで平均して最大15%高い精度とAUCを達成する。
• 構造的符号化を欠いた標準GNNとは対照的に、DEを強化したGNNは顕著に優れた性能を示し、距離に依存する特徴の重要性がモデルの表現力向上に寄与していることを実証する。
• 特に構造的一般化が難しいタスクにおいて、ノードの役割、リンク、三角形予測に特化した最先端のベースラインを上回る性能を発揮する。
• 理論的分析により、両フレームワークが1-WLベースのGNNが失敗するほぼすべての正則グラフにおいてノード集合を区別できることを確認し、優れた表現力の証明となる。
• グラフのスパarsityを維持することで、DEをノード属性またはメッセージ集約の制御要因として統合した場合でもスケーラビリティが保たれる。
• 実験的結果から、多様なグラフタイプとタスクにおいて一貫した性能向上が得られ、DEアプローチの一般化可能性が検証される。