[論文レビュー] On Graph Neural Networks versus Graph-Augmented MLPs

Zhengdao Chen, Lei Chen+1 more|arXiv (Cornell University)|May 3, 2021

Advanced Graph Neural Networks参考文献 48被引用数 2

ひとこと要約

この論文は、GNN（グラフニューラルネットワーク）と、マルチホップのグラフ作用素を用いてノード特徴量を拡張した後、標準的なMLP（多層パーセプトロン）を適用するGA-MLP（グラフ拡張型MLP）を比較している。GA-MLPは、Weisfeiler-Lehmanテストを用いた非同型グラフの識別においてGNNと同等の性能を示すが、属性付きウォークの数え上げにおいては指数的になまりの低い表現力を持ち、作用素の選択に制限を受ける。これに対して、より柔軟性のあるGNNとは対照的である。

ABSTRACT

From the angles of expressive power and learning, this work compares multi-layer Graph Neural Networks (GNNs) with a simplified alternative that we call Graph-Augmented Multi-Layer Perceptrons (GA-MLPs), which first augments node features with certain multi-hop operators on the graph and then applies an MLP in a node-wise fashion. From the perspective of graph isomorphism testing, we show both theoretically and numerically that GA-MLP with suitable operators can distinguish almost all non-isomorphic graphs, just like the Weifeiler-Lehman (WL) test. However, by viewing them as node-level functions and examining the equivalence classes that they induce on rooted graphs, we prove a separation in expressive power between GA-MLPs and GNNs that grows exponentially in depth. In particular, unlike GNNs, GA-MLPs are unable to count the number of attributed walks. We also demonstrate via community detection experiments that GA-MLPs can be limited by their choice of operator family, as compared to GNNs with higher flexibility in learning.

研究の動機と目的

• GA-MLPがグラフ表現学習においてGNNの表現力をどの程度再現できるかを調査すること。
• GNNとは異なり、同型性を超えたグラフ構造の区別におけるGA-MLPの制限を分析すること。
• GA-MLPの性能に与える作用素の選択の影響を、学習可能なGNNと比較して評価すること。
• 特に属性付きウォークの数え上げに関して、理論的および実験的側面からGA-MLPとGNNの表現力の違いを理解すること。

提案手法

• GA-MLPをGNNの簡素化された代替手法として提案し、ノード特徴量をマルチホップのグラフ作用素を用いて拡張した後、標準的なMLPで処理する。
• GA-MLPの同型性識別能力を評価するため、Weisfeiler-Lehman（WL）テストをベンチマークとして用いる。
• 根付きグラフ上でGA-MLPとGNNが誘導する同値類を理論的に分析し、表現力の差を明らかにする。
• GA-MLPが属性付きウォークの数を数えられないことを示す形式的証明を提示する。
• コミュニティ検出の実験を通じて、さまざまな作用素族を用いたGA-MLPとGNNの性能を実験的に比較する。
• ノード単位の関数解析を用いて、GA-MLPとGNNの誘導的バイアスおよび表現能力を比較する。

実験結果

リサーチクエスチョン

• RQ1 適切なマルチホップ作用素を用いたGA-MLPは、Weisfeiler-Lehmanテストと同様に、ほとんどすべての非同型グラフを区別できるか？
• RQ2 ネットワークの深さが増すに従い、GA-MLPとGNNの表現力の差が指数的に拡大するか？
• RQ3 GA-MLPはグラフ内の属性付きウォークの数を数えられるか？GNNと比較するとどうなるか？
• RQ4 マルチホップ作用素族の選択が、実世界のグラフ学習タスクにおけるGA-MLPの性能にどのように影響するか？
• RQ5 ノードレベルの予測タスクにおいて、学習可能なGNNと比較して、GA-MLPの根本的な表現制限は何か？

主な発見

• 適切なマルチホップ作用素を用いたGA-MLPは、非同型グラフをほとんどすべて区別でき、Weisfeiler-Lehmanテストと同等の性能を示す。
• 根付きグラフ上で誘導される同値類の観点から、GA-MLPとGNNの間には指数的の表現力の差が存在する。
• GA-MLPは根本的に、グラフ内の属性付きウォークの数を数えることができない。これはGNNが持つ能力である。
• コミュニティ検出の実験では、GA-MLPは固定された作用素族に制限を受ける一方、GNNは学習可能な誘導的バイアスのおかげでより優れた性能を発揮する。
• 理論的分析により、GA-MLPは同型性を超えた複雑な構造的パターンを捉える能力に欠けることが確認された。
• GNNと同様に同型性テストで同等の性能を示すものの、GA-MLPは学習可能な複雑なグラフレベルおよびノードレベル関数を学習する柔軟性とパワーに劣る。