[論文レビュー] On the equivalence between graph isomorphism testing and function approximation with GNNs

Zhengdao Chen, Soledad Villar+2 more|arXiv (Cornell University)|May 29, 2019

Advanced Graph Neural Networks被引用数 98

ひとこと要約

この論文は、GNNの非同型グラフを区別する能力と、グラフ上の置換不変関数を普遍的に近似する能力との等価性を証明し、GNNの表現力を比較するシグマ代数フレームワークを導入し、2-IGNの拡張として、2-IGNでは識別できない特定の正則グラフを識別するRing-GNNを提案します。

ABSTRACT

Graph Neural Networks (GNNs) have achieved much success on graph-structured data. In light of this, there have been increasing interests in studying their expressive power. One line of work studies the capability of GNNs to approximate permutation-invariant functions on graphs, and another focuses on the their power as tests for graph isomorphism. Our work connects these two perspectives and proves their equivalence. We further develop a framework of the expressive power of GNNs that incorporates both of these viewpoints using the language of sigma-algebra, through which we compare the expressive power of different types of GNNs together with other graph isomorphism tests. In particular, we prove that the second-order Invariant Graph Network fails to distinguish non-isomorphic regular graphs with the same degree. Then, we extend it to a new architecture, Ring-GNN, which succeeds in distinguishing these graphs and achieves good performances on real-world datasets.

研究の動機と目的

• GNNの表現力の二つの視点であるグラフ同型性検査と不変関数近似を結びつける。
• GNNのバリアントや検査を比較するため、シグマ代数を用いて表現力を形式化する。
• 同じ次数を持つ非同型の正則グラフに対する2-IGNの限界を示す。
• 2-IGNより表現力を高める扱いやすい拡張としてRing-GNNを提案する。

提案手法

• グラフ空間上でGIso識別性と普遍近似性を持つ関数族を定義する。
• 普遍近似がGIso識別を意味し、逆に拡張されたGIso識別が普遍近似を生むことを示す（有限および連続特徴空間）。
• 関数族により生成されるシグマ代数を通じた表現力を特徴づけ、グラフ同型クラスと関連付ける。
• 同じ次数を持つ非同型正則グラフを識別できない2-IGNの限界を示し、不変行列演算子の環を活用してこれを克服するRing-GNNを導入する。
• 高次テンソルを用いず高次相互作用を捉えるため、置換協変性線形写像と非線形性を結合した層を備える実用的なRing-GNNアーキテクチャを提供する。

実験結果

リサーチクエスチョン

• RQ1 ある置換不変なグラフ関数のクラスが、 invariant関数を普遍的に近似できるなら、すべての非同型グラフを区別できるか。
• RQ2 関数クラスによって生成されるシグマ代数は、異なるGNNアーキテクチャの表現力をどのように定量化・比較できるか。
• RQ3 不変演算子の環を加えた2-IGN（Ring-GNN）は、正則グラフにおける制限を超えるか。
• RQ4 高次GNNと比較してRing-GNNで表現力を高める際の実用的な計算トレードオフは何か。
• RQ5 同型性検査としておよび関数近似器として評価した場合、合成データ（CSL）と実世界データセットでGNNはどのように性能を発揮するか。

主な発見

• 関数クラスの普遍性はGIso識別を意味し、逆に拡張を伴うGIso識別は有限空間で普遍近似を生む。
• シグマ代数フレームワークは、関数族の表現力を生成されるシグマ代数の細かさに対応させ、GNNのバリアント間で正式な比較を可能にする。
• 2-IGNは同じ次数を持つ非同型正則グラフを識別できず、表現力の限界を示す。
• 不変行列の環に基づく拡張であるRing-GNNは、2-IGNが識別できないCSLグラフ対を識別でき、表現力の向上を示す。
• Ring-GNNはCSL分類と複数の実世界データセット（IMDB、COLLAB、MUTAG、PTC、PROTEINS）で、2-IGNと比べ競争力あるまたは優れた性能を発揮し、場合によってはGINと同等またはそれを上回る。
• Ring-GNNアーキテクチャは、高次テンソルGNNより計算量を抑えつつ、より高次の相互作用を可能にする（概ね O(n^2.38)) の複雑さを維持。