[論文レビュー] Decidability of Graph Neural Networks via Logical Characterizations

Michael Benedikt, Chia-Hsuan Lu+1 more|arXiv (Cornell University)|Jan 1, 2024

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

本稿では、プレスブルーア量化子を備えた決定可能論理を用いて、グラフニューラルネットワーク（GNNs）の論理的特徴付けを確立し、正確な表現力比較と検証問題の決定可能性を可能にしている。GNNsが有界な活性化関数（例：切り捨てReLU）を用いる場合、これらの論理によって正確に特徴付けられ、検証の計算複雑度はPSPACE完全となる。一方、ReLUベースのGNNsでは、特定の検証タスクに関して決定不能性が示された。

ABSTRACT

We present results concerning the expressiveness and decidability of a popular graph learning formalism, graph neural networks (GNNs), exploiting connections with logic. We use a family of recently-discovered decidable logics involving "Presburger quantifiers". We show how to use these logics to measure the expressiveness of classes of GNNs, in some cases getting exact correspondences between the expressiveness of logics and GNNs. We also employ the logics, and the techniques used to analyze them, to obtain decision procedures for verification problems over GNNs. We complement this with undecidability results for static analysis problems involving the logics, as well as for GNN verification problems.

研究の動機と目的

• 一階論理を超える一様な論理的特徴付けを提供し、すべての計算可能な関数を捉えること。
• 有界な活性化関数を備えたGNNsの検証問題の決定可能性を、決定可能であるプレスブルーア論理を用いて確立すること。
• 結果を非有向グラフから有向グラフへ拡張し、方向性の有無に関わらず論理的特徴付けが安定していることを示すこと。
• 特に有界（例：切り捨てReLU）と無限大（例：ReLU）の活性化関数の違いが、表現力と決定可能性に与える影響を分析すること。
• 無限大の特徴量と一般の活性化関数を備えたGNNsにおける論理的特徴付けと検証の計算複雑度に関する未解決問題を特定すること。

提案手法

• プレスブルーア量化子を備えた決定可能論理の族を用いて、GNNsの表現力を特徴付けること。
• 特徴量ベクトルと集約関数を用いて、これらの論理式の評価をシミュレートするGNNアーキテクチャの構築。
• 星高さに従って帰納的に式の評価をシミュレートする木構造 T(t,a) の設計。特徴量ベクトルが真理値と中間結果を符号化する。
• GNNの検証問題を基礎となる論理における充足可能性問題に還元し、論理の決定可能性を活用して検証を可能にする。
• 帰納法による星高さの解析や成分ごとの特徴量追跡といった論理的証明技法を用いて、GNNの挙動を分析すること。
• 自動機的および代数的技法（例：半線形集合）を用いて、無限大の値をとるGNNsにおける特徴量伝搬と活性化挙動をモデル化すること。

実験結果

リサーチクエスチョン

• RQ1 有界な活性化関数を備えたGNNsが計算可能な関数の全クラスを、決定可能な論理によって正確に特徴付けられるか？
• RQ2 局所的集約と切り捨てReLU活性化を備えたGNNsの検証の計算複雑度は何か？また、それは決定可能か？
• RQ3 ReLUのような無限大の活性化関数に切り替えることで、GNNsの表現力と決定可能性の性質はどのように変化するか？
• RQ4 論理的特徴付けと決定可能性の結果は、グラフの方向性（有向／非有向）に依存する程度はどの程度か？
• RQ5 有界なGNNsに用いられた技法を、無限大の整数特徴量を有するGNNsへ拡張できるか？その結果として生じる計算複雑度と決定可能性のトレードオフは何か？

主な発見

• 局所的集約と切り捨てReLU活性化を備えたGNNsは、プレスブルーア量化子を備えた決定可能な論理によって特徴付けられ、正確な表現力解析が可能である。
• 切り捨てReLUと局所的集約を備えたGNNsの充足可能性問題はPSPACE完全であり、層数が固定されている場合はNP完全である。
• ReLU活性化を備えたGNNsの検証問題は一般に決定不能であり、単純な分類タスクに対しても同様である。
• 論理的特徴付けアプローチは有向グラフに対しても有効であり、構造的同値性を介して非有向グラフへも拡張可能である。
• ReLUベースのGNNsが表現可能な論理式を含む論理が同定されたが、正確な特徴付けは未解決のままである。
• 特にプレスブルーア論理の解析に用いられる論理的技法は、GNN検証へ直接応用可能であり、有界な場合の決定可能性を実現している。