[論文レビュー] Rethinking the Expressive Power of GNNs via Graph Biconnectivity

Bohang Zhang, Shengjie Luo+2 more|arXiv (Cornell University)|Jan 23, 2023

Advanced Graph Neural Networks被引用数 15

ひとこと要約

本論文は Generalized Distance Weisfeiler-Lehman (GD-WL) を導入し、すべての二連結性問題を証明可能に解くことを示し、表現力があり、効率的で実践的に強力な Transformer風の Graphormer-GD 実装を示す。

ABSTRACT

Designing expressive Graph Neural Networks (GNNs) is a central topic in learning graph-structured data. While numerous approaches have been proposed to improve GNNs in terms of the Weisfeiler-Lehman (WL) test, generally there is still a lack of deep understanding of what additional power they can systematically and provably gain. In this paper, we take a fundamentally different perspective to study the expressive power of GNNs beyond the WL test. Specifically, we introduce a novel class of expressivity metrics via graph biconnectivity and highlight their importance in both theory and practice. As biconnectivity can be easily calculated using simple algorithms that have linear computational costs, it is natural to expect that popular GNNs can learn it easily as well. However, after a thorough review of prior GNN architectures, we surprisingly find that most of them are not expressive for any of these metrics. The only exception is the ESAN framework, for which we give a theoretical justification of its power. We proceed to introduce a principled and more efficient approach, called the Generalized Distance Weisfeiler-Lehman (GD-WL), which is provably expressive for all biconnectivity metrics. Practically, we show GD-WL can be implemented by a Transformer-like architecture that preserves expressiveness and enjoys full parallelizability. A set of experiments on both synthetic and real datasets demonstrates that our approach can consistently outperform prior GNN architectures.

研究の動機と目的

• WL階層を超えて、グラフの二連結性を通じて GNN の表現能力を研究する動機付け。
• 二連結性の概念を学習する際の一般的な GNN の限界を特定する。
• 二連結性タスクのための principled かつ効率的な枠組みとして GD-WL を提案する。
• GD-WL が理論的・実証的に高い表現力と実用的な性能を達成することを示す。

提案手法

• WL 集約 (Equation 3) に距離測度を埋め込むことにより Generalized Distance Weisfeiler-Lehman (GD-WL) を導入する。
• edge-biconnectivity に対処するため shortest-path 距離を用いて SPD-WL に特化する (Theorem 4.1)。
• 頂点の二連結性に対処するため抵抗距離を用いて RD-WL を導入する (Theorem 4.2)。
• GD-WL がすべての二連結性問題に対して完全な表現力を持つことを示す (Corollary 4.3)。
• 距離をマルチヘッドアテンションに注入し GD-WL の表現力に匹敵する実用的な Graph Transformer 実装 (Graphormer-GD) を提案する。
• 複雑さと並列実行性に関する理論的・経験的分析を提供する (Θ(n) 空間, Θ(n^2) 毎反復時間)。
• Graphormer-GD は cut vertices と cut edges の検出で完全精度を達成し、ベンチマークで従来のアーキテクチャを上回る。

実験結果

リサーチクエスチョン

• RQ1 二連結性問題（頂点およびエッジの二連結性）は、証明可能な表現力をもって 1-WL を超える特徴づけ・解決できるのか？
• RQ2 距離を意識した改良（SPD-WL, RD-WL）は、すべての二連結性情報を捉えるのに十分か？
• RQ3 理論的表現力と実用性を両立する principled で効率的な GNN 設計（GD-WL）はあるのか？
• RQ4 GD-WL は表現力を損なうことなく、 Graph Transformers のような並列実装が可能か？

主な発見

• 1-WL および多くの一般的な GNN は、二連結性問題（cut vertices/edges、BC 木）を解くことができない。
• DSS-WL は cut vertices/edges を識別できるが計算コストが高い。ノードマーク付けは表現力のために重要である。
• SPD-WL は edge-biconnectivity に対して完全に表現力を持ち、RD-WL は vertex-biconnectivity に対して完全に表現力を持つ（Theorems 4.1 および 4.2）。
• GD-WL は SPD および RD 距離を組み合わせたもので、すべての二連結性問題に対して完全に表現力を持つ（Corollary 4.3）。
• Graphormer-GD は Transformer風のインスタンスで、GD-WL と同等の表現力を持ち、cut-vertex/edge 検出で完全精度を達成し、ベンチマークで従来の GNN より優れている。