[論文レビュー] On the equivalence between graph isomorphism testing and function approximation with GNNs

Zhengdao Chen, Soledad Villar+2 more|arXiv (Cornell University)|May 29, 2019

Advanced Graph Neural Networks参考文献 29被引用数 37

ひとこと要約

本論文は、グラフの非同型性を識別する GNN の能力と、グラフ上の置換不変関数を普遍的に近似する能力との等価性を証明し、GNN 表現力を比較する sigma-代数フレームワークを導入し、2-IGN の実行可能な拡張である Ring-GNN を提案して、2-IGN が識別できない特定の正則グラフを識別する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved much success on graph-structured data. In light of this, there have been increasing interests in studying their expressive power. One line of work studies the capability of GNNs to approximate permutation-invariant functions on graphs, and another focuses on the their power as tests for graph isomorphism. Our work connects these two perspectives and proves their equivalence. We further develop a framework of the expressive power of GNNs that incorporates both of these viewpoints using the language of sigma-algebra, through which we compare the expressive power of different types of GNNs together with other graph isomorphism tests. In particular, we prove that the second-order Invariant Graph Network fails to distinguish non-isomorphic regular graphs with the same degree. Then, we extend it to a new architecture, Ring-GNN, which succeeds in distinguishing these graphs and achieves good performances on real-world datasets.

研究の動機と目的

• グラフ同型性テストと不変関数近似を通じた GNN 表現力の統一的な見方を喚起する。
• 表現力によって GNN のバリアントを比較・分類するための sigma-代数フレームワークを構築する。
• 非同型な正則グラフに対する 2-IGN の限界を示し、扱いやすくより表現力のある代替として Ring-GNN を提示する。
• 合成 CSL グラフおよび実世界データセットで Ring-GNN の優れた性能を示す実証的証拠を提供する。

提案手法

• グラフ空間上で GIso-識別可能関数クラスと普遍近似可能関数クラスを定義する。
• 有限および連続特徴空間に対して GIso-識別と普遍近似の等価性を証明する。
• GNNs とグラフ同型性テストを比較するための sigma-代数に基づく分類法を導入する。
• 2-IGN の限界（特定の正則グラフを識別できない）を特定し、加算と乗算の不変行列の環を用いてこれを克服する Ring-GNN を構築する。
• 層状線形等変写像と最終の置換不変なリードアウトを備えた Ring-GNN アーキテクチャを説明する。
• 計算複雑性を分析し Ring-GNN が高次の k-IGN よりも特定の高次相互作用をより扱いやすく近似できることを示す。

実験結果

リサーチクエスチョン

• RQ1 GNN が非同型グラフを識別する能力は、すべての置換不変グラフ関数を近似する能力と同値になり得るか？
• RQ2 sigma-代数は異なる GNN アーキテクチャの表現力をどのように形式化し、比較できるか？
• RQ3 不変演算子の環を 2-IGN に拡張すると、テンソル次数の制約を超えずに表現力が向上するか？
• RQ4 Ring-GNN は 2-IGN が識別できない非同型の正則グラフを識別でき、実データセットでも良好な性能を発揮するか？

主な発見

• 置換不変関数クラスの普遍性は、有限空間と連続特徴空間の双方において GIso識別と等価である。
• sigma-代数の観点は GNN と同型性テストを比較する formal 階層を生み出す；最大の表現力は sigma(C) = sigma(Q) に対応する。
• 2-IGN は同じ次数を持つ非同型正則グラフを識別できない（例: CSL グラフ）。
• Ring-GNN は不変演算子の環（行列の加算/乗算）を活用して 2-IGN を拡張し、2-IGN が失敗する特定の正則グラフを識別できるようにし、 CSL グラフやいくつかの実世界データセットで強い実証的性能を達成する。
• Ring-GNN は高次の k-IGN と比較して有利な計算スケーリング（概ね O(n^2.38)）を提供し、スペクトルベースの拡張と互換性がある。