[論文レビュー] The expressive power of kth-order invariant graph networks

Floris Geerts|arXiv (Cornell University)|Jul 23, 2020

Advanced Graph Neural Networks参考文献 22被引用数 5

ひとこと要約

この論文は、k次元不変グラフネットワーク（k-IGNs）が、k次元Weisfeiler-Leman（k-WL）グラフ同型性テストと同等の表現力を持つことを確立し、k-WL よりも多くのグラフを区別できないことを証明している。主な結果は、k-IGNs が表現力において k-WL に制限されることを示しており、k ≥ 2 に対してグラフの区別力において同値であることを意味する。

ABSTRACT

The expressive power of graph neural network formalisms is commonly measured by their ability to distinguish graphs. For many formalisms, the k-dimensional Weisfeiler-Leman (k-WL) graph isomorphism test is used as a yardstick. In this paper we consider the expressive power of kth-order invariant (linear) graph networks (k-IGNs). It is known that k-IGNs are expressive enough to simulate k-WL. This means that for any two graphs that can be distinguished by k-WL, one can find a k-IGN which also distinguishes those graphs. The question remains whether k-IGNs can distinguish more graphs than k-WL. This was recently shown to be false for k=2. Here, we generalise this result to arbitrary k. In other words, we show that k-IGNs are bounded in expressive power by k-WL. This implies that k-IGNs and k-WL are equally powerful in distinguishing graphs.

研究の動機と目的

• k次元不変グラフネットワーク（k-IGNs）が、k次元Weisfeiler-Leman（k-WL）テストよりも多くのグラフを区別できるかどうかを特定すること。
• Maron ら（2019a）が提起した、k-IGNs の表現力が k-WL に対してどのようになるかという未解決の問いを解消すること。
• k-WL に関連する論理的・代数的不変量を用いて、k-IGNs の表現的限界を形式的に特徴づけること。
• k-IGNs がそのアーキテクチャ設計にもかかわらず、k-WL よりも表現力が高くないことを示すこと。

提案手法

• k-IGNs の挙動を分析し、k-WL の反復と関連付けるために、頂点k-組における等価性パターンを用いる。
• 単一のk-IGN層がk−1回のk-WL反復に対応することを証明し、層と反復の対応関係を確立する。
• k-WLの色分けをk-組上の論理式で表現することで、k-IGNs がk-WLを定数倍の反復誤差内でシミュレートできることを示す。
• 木幅に制限されたグラフからのホモモーティズム数や線形代数的作用素といった不変量を用いて、区別不能性を特徴づける。
• 等価なグラフにおいてk-tupleのk-WL色分けがサイズで一致しなければならないという鍵となる補題を用いる。この補題は、k-IGNs がこれを保持しなければならないことを示す。
• 論理式における存在記号の扱いを考慮し、等価性パターンに使用された定数クラスの有無に基づいて場合分けを行う。

実験結果

リサーチクエスチョン

• RQ1 k ≥ 2 に対して、k-IGNs は k-WL よりも多くのグラフを区別できるか？
• RQ2 k-IGNs と k-WL 間には表現力の厳密な階層があるのか、それとも同値なのか？
• RQ3 k-IGN の層数と k-WL の反復回数との間の正確な関係は何か？
• RQ4 k-IGNs は定数倍の誤差を超えて k-WL をシミュレートできるのか、それとも根本的な限界があるのか？
• RQ5 k-組における等価性パターンは、k-IGNs の表現力を k-WL と一致する形で制限するのか？

主な発見

• k-IGNs は k-WL よりも表現力が高くない。k ≥ 2 に対して、すべてのグラフの区別力において k-WL に制限される。
• k-IGN の単一の層は k−1 回の k-WL 反復に対応する。これは、k-WL に比べて収束が対数的スピードアップされることを示唆する。
• k-IGNs の表現力は k-WL と正確に同等であり、非同型グラフのペアを区別できる範囲が同一である。
• 論文は、k-IGNs が k-WL の到達範囲を超えるグラフ的性質（例：2k−1 より長いサイクルや特定のサイズを超えるクリーク）を検出できないことを確認している。
• 分析により、k-IGNs が木幅 ≤ k−1 のグラフからのホモモーティズム数といった不変量を保持していることが判明した。これらは k-WL の区別不能性を特徴づけるものとして知られている。
• 結果から、k-IGNs は許容される等価性パターンによってパrameter化可能であり、表現力と計算コストのトレードオフを可能にする。