[論文レビュー] The Descriptive Complexity of Graph Neural Networks

Martin Grohe|arXiv (Cornell University)|Mar 8, 2023

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）の明確な論理的および回路理論的特徴付けを確立し、実数重みと標準的な活性化関数を備えた有界深さのGNNが、数え上げを含む guarded fragment の一階論理（GFO+C）で定義可能な照会を正確に計算することを示している。ランダム初期化とグローバルリードアウトを併用すれば、TC⁰ 複雑度クラスを捉えることができ、連続的で実数値の計算を行うGNNと、古典的な記述的複雑度理論との間にきわめて密接な対応関係があることが明らかになった。

ABSTRACT

We analyse the power of graph neural networks (GNNs) in terms of Boolean circuit complexity and descriptive complexity. We prove that the graph queries that can be computed by a polynomial-size bounded-depth family of GNNs are exactly those definable in the guarded fragment GFO+C of first-order logic with counting and with built-in relations. This puts GNNs in the circuit complexity class (non-uniform) $ ext{TC}^0$. Remarkably, the GNN families may use arbitrary real weights and a wide class of activation functions that includes the standard ReLU, logistic "sigmoid", and hyperbolic tangent functions. If the GNNs are allowed to use random initialisation and global readout (both standard features of GNNs widely used in practice), they can compute exactly the same queries as bounded depth Boolean circuits with threshold gates, that is, exactly the queries in $ ext{TC}^0$. Moreover, we show that queries computable by a single GNN with piecewise linear activations and rational weights are definable in GFO+C without built-in relations. Therefore, they are contained in uniform $ ext{TC}^0$.

研究の動機と目的

• 記述的複雑度理論の観点から、グラフニューラルネットワーク（GNN）の論理的および計算的表現力を特徴づけること。
• 多項式サイズで有界深さのGNNが、実数重みと標準的な活性化関数を用いる場合に計算可能なグラフ照問の正確なクラスを特定すること。
• ランダム初期化とグローバルリードアウトがGNNの表現力に与える影響、特にブール回路クラスとの関係を調査すること。
• 連続的で実数値に基づくGNNと、一階論理やTC⁰回路といった離散的・有限な計算モデルとの間の正式な橋渡しを確立すること。
• 集約関数、活性化関数、重みの種別（有理数 vs. 実数）がGNNの表現力に与える影響を明らかにすること。

提案手法

• 著者たちは、各頂点が実数値の状態を保持し、学習可能なニューラルネットワークを用いて近隣の頂点とメッセージを交換する分散的・局所的計算モデルとしてGNNを分析する。
• 入力サイズnでインデックス付けされたGNNの族を定義し、深さ（メッセージスワッピングのラウンド数およびニューラルネットワークの層数）を有界とする。サイズは計算ノードの数と重み値の絶対値の合計で測定する。
• rpl-近似可能な活性化関数（例：ReLU、シグモイド、tanh）の概念を導入し、このような関数を用いるGNNがGFO+C内の論理式をシミュレート可能であり、逆にそれらをシミュレートできることを示す。
• ランダム初期化技術（ri）を用いて、GNNがTC⁰内の照問を計算できることを証明し、それらがしきい値ゲートをシミュレートできることを示し、結果としてTC⁰の完全な能力を達成できることを示す。
• 有限モデル理論の技術を用いて、GNNのシミュレーションをGFO+C内と逆方向に構築することで論理的定義可能性の結果を証明する。これには、順序不変論理と組み込み関係が含まれる。
• 有理数重みと区分線形活性化関数を用いるGNNは、ランダム初期化がなくても、均一TC⁰内の照問を正確に計算できることを示す。

実験結果

リサーチクエスチョン

• RQ1 有界深さのGNNが実数重みと標準的な活性化関数を用いる場合に計算可能な照問に対応する論理的フラグメントは何か？
• RQ2 ランダム初期化がGNNの表現力に与える影響は何か？ また、これによりTC⁰複雑度クラスを捉える能力が向上するか？
• RQ3 SUM集約とReLU活性化関数のみを用いるGNNは、より複雑な集約関数や活性化関数を用いる任意のGNNをシミュレートできるか？ その計算のオーバーヘッドはどの程度か？
• RQ4 均一TC⁰のような既知の均一回路クラスと一致するGNNの均一的特徴付けは存在するか？
• RQ5 有理数重みと区分線形活性化関数に制限した場合、GNNの表現力が一階論理に数え上げを含むものでどの程度まで捉えられるか？

主な発見

• 実数重みとrpl-近似可能な活性化関数を備えた有界深さのGNNは、組み込み関係を含む一階論理のガード付きフラグメントと数え上げ（GFO+Cₙᵤ）で定義可能な照問を正確に計算する。
• ランダム初期化とグローバルリードアウトを併用すれば、GNNはTC⁰に属する照問を正確に計算し、GNNとしきい値回路との間にきわめて密接な対応関係があることが示された。
• ReLU活性化関数とSUM集約のみを用いるGNNは、非線形活性化関数や他の集約関数を用いる任意のGNNを、多項式サイズのオーバーヘッドでシミュレートできる。
• 有理数重みと区分線形活性化関数を用いるGNNは、均一TC⁰内の照問を正確に計算でき、有理数重みがTC⁰の完全な表現力を達成するのに十分であることを示した。
• 結果は、無限大集約（和と最大値）に対しても成り立ち、論理的枠組みは非均一性と順序のない構造上の組み込み関係を処理できる。
• この論文は、ランダム初期化を伴う多項式サイズのGNNの表現力に対する最初の上界を提供し、理論的GNN研究における重要な未解決問題を解決した。