[논문 리뷰] Decidability of Graph Neural Networks via Logical Characterizations

Michael Benedikt, Chia-Hsuan Lu외 1명|arXiv (Cornell University)|2024. 01. 01.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 결정 가능성이 있는 프레스버거 존재기호를 갖는 논리적 체계를 사용하여 그래프 신경망(GNNs)의 논리적 특성화를 수립함으로써, 정확한 표현력 비교와 검증 문제의 결정 가능성을 가능하게 한다. 이는 활성화 함수가 유계인 GNNs(예: 잘라낸 ReLU)가 이러한 논리적 체계로 정확히 특성화될 수 있음을 증명하며, 이에 따라 PSPACE-완전인 검증 복잡도를 도출한다. 반면 ReLU 기반 GNNs는 특정 검증 작업에서 결정 불가능성을 보인다.

ABSTRACT

We present results concerning the expressiveness and decidability of a popular graph learning formalism, graph neural networks (GNNs), exploiting connections with logic. We use a family of recently-discovered decidable logics involving "Presburger quantifiers". We show how to use these logics to measure the expressiveness of classes of GNNs, in some cases getting exact correspondences between the expressiveness of logics and GNNs. We also employ the logics, and the techniques used to analyze them, to obtain decision procedures for verification problems over GNNs. We complement this with undecidability results for static analysis problems involving the logics, as well as for GNN verification problems.

연구 동기 및 목표

• 일阶논리 이상의 범위에서 GNN의 균일한 논리적 특성화를 제공하여 모든 계산 가능한 함수를 포괄한다.
• 유계 활성화 함수를 갖는 GNN의 검증 문제의 결정 가능성을 결정 가능한 프레스버거 논리 체계를 통해 수립한다.
• 결과를 비방향성 그래프에서 유도성 그래프로 확장하여, 방향성에 비추어도 논리적 특성화가 안정됨을 보인다.
• 특히 유계(예: 잘라낸 ReLU) 대비 무한대 활성화 함수(예: ReLU)의 영향을 표현력과 결정 가능성에 미치는 영향을 분석한다.
• 무한대 특성과 일반적인 활성화 함수를 갖는 GNN의 논리적 특성화 및 검증 복잡도 분야에서 열려 있는 문제를 규명한다.

제안 방법

• 프레스버거 존재기호를 갖는 결정 가능한 논리 체계의 가족을 사용하여 GNN의 표현력을 특성화한다.
• 특성 벡터와 집계 함수를 사용하여 이러한 논리의 공식 평가를 시뮬레이션하는 GNN 아키텍처를 구축한다.
• 별 높이(star height)에 따라 공식 평가를 귀납적으로 시뮬레이션하기 위해 트리 기반의 구조 T(t,a)를 설계한다. 이때 특성 벡터는 진리값과 중간 결과를 인코딩한다.
• 기본 논리의 결정 가능성에 기반하여 GNN 검증 문제를 만족 가능성 문제로 환원함으로써 검증을 가능하게 한다.
• 별 높이에 대한 귀납과 특성의 성분별 추적 기법을 포함한 논리 증명 기법을 사용하여 GNN 동작을 분석한다.
• 유계가 아닌 값에 대한 특성 전파 및 활성화 행동을 모델링하기 위해 옴모이드 이론 및 대수 기법(예: 준선형 집합)을 적용한다.

실험 결과

연구 질문

• RQ1 유계 활성화 함수를 갖는 GNN이 계산할 수 있는 함수 전체의 클래스는 결정 가능한 논리 체계로 정확히 특성화될 수 있는가?
• RQ2 국소 집계와 잘라낸 ReLU 활성화를 갖는 GNN의 검증 복잡도는 무엇이며, 결정 가능한가?
• RQ3 ReLU와 같이 무한대 활성화 함수로 전환할 경우 GNN의 표현력 및 결정 가능성 특성은 어떻게 변화하는가?
• RQ4 GNN의 논리적 특성화 및 결정 가능성 결과는 그래프의 방향성 또는 비방향성에 얼마나 의존하는가?
• RQ5 유계 GNN에 사용된 기법을 무한대 정수 특성을 갖는 GNN으로 확장할 수 있으며, 그 결과로 발생하는 복잡도 및 결정 가능성의 상충 관계는 무엇인가?

주요 결과

• 국소 집계와 잘라낸 ReLU 활성화를 갖는 GNN은 프레스버거 존재기호를 포함하는 결정 가능한 논리로 정확히 특성화되며, 이는 정확한 표현력 분석을 가능하게 한다.
• 잘라낸 ReLU와 국소 집계를 갖는 GNN의 만족 가능성 문제는 PSPACE-완전이며, 층 수가 고정된 경우 NP-완전이다.
• ReLU 활성화를 갖는 GNN의 검증 문제는 일반적으로 결정 불가능하며, 간단한 분류 작업조차도 마찬가지다.
• 논리적 특성화 접근법은 유도성 그래프에서도 유효하며, 구조적 동치성에 의해 비방향성 그래프로도 결과가 확장된다.
• ReLU 기반 GNN이 표현할 수 있는 공식을 포함하는 논리가 규명되었지만, 정확한 특성화는 아직 열려 있다.
• 특히 프레스버거 논리 분석을 위한 논리 기법은 GNN 검증에 직접적으로 적용 가능하며, 이는 유계 케이스의 결정 가능성을 보장한다.