[논문 리뷰] The Descriptive Complexity of Graph Neural Networks

Martin Grohe|arXiv (Cornell University)|2023. 03. 08.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNNs)에 대해 정밀한 논리학적 및 회로이론적 특성화를 수립하며, 실수 가중치와 표준 활성화 함수를 사용하는 유계 깊이의 GNNs가 첫째로 순서 이론에서의 계수를 포함한 가드된 조건부 논리(가운데 GFO+C)로 정의 가능한 쿼리들을 정확히 계산한다는 것을 보여준다. 랜덤 초기화와 전역 읽기 기능을 갖춘 GNNs는 복잡도 클래스 TC⁰을 포괄하며, 이는 연속적이고 실수 기반의 계산을 수행함에도 불구하고 GNNs와 고전적술적 기술 복잡도 이론 사이에 밀접한 대응 관계가 있음을 드러낸다.

ABSTRACT

We analyse the power of graph neural networks (GNNs) in terms of Boolean circuit complexity and descriptive complexity. We prove that the graph queries that can be computed by a polynomial-size bounded-depth family of GNNs are exactly those definable in the guarded fragment GFO+C of first-order logic with counting and with built-in relations. This puts GNNs in the circuit complexity class (non-uniform) $ ext{TC}^0$. Remarkably, the GNN families may use arbitrary real weights and a wide class of activation functions that includes the standard ReLU, logistic "sigmoid", and hyperbolic tangent functions. If the GNNs are allowed to use random initialisation and global readout (both standard features of GNNs widely used in practice), they can compute exactly the same queries as bounded depth Boolean circuits with threshold gates, that is, exactly the queries in $ ext{TC}^0$. Moreover, we show that queries computable by a single GNN with piecewise linear activations and rational weights are definable in GFO+C without built-in relations. Therefore, they are contained in uniform $ ext{TC}^0$.

연구 동기 및 목표

• 기술통계 이론의 관점에서 그래프 신경망(GNNs)의 논리적 및 계산적 표현력을 특성화하는 것.
• 다항식 크기, 유계 깊이의 GNNs가 실수 가중치와 표준 활성화 함수를 사용할 때 계산 가능한 정확한 그래프 쿼리의 클래스를 규명하는 것.
• 랜덤 초기화와 전역 읽기 기능이 GNN 표현력에 미치는 영향, 특히 부울 회로 클래스와의 관계를 조사하는 것.
• 연속적이고 실수 기반의 GNNs와 첫째로 순서 이론 및 TC⁰ 회로와 같은 이산적이고 유한한 계산 모델 사이의 공식적 다리를 구축하는 것.
• 집계 함수, 활성화 함수, 그리고 가중치 유형(유리수 대비 실수)이 GNN 표현력에 미치는 영향을 규명하는 것.

제안 방법

• 저자들은 GNNs를 그래프에서 작동하는 분산형 국소 계산 모델로 분석하며, 각 정점이 실수 값을 갖는 상태를 유지하고 학습 가능한 신경망을 통해 이웃 정점과 메시지를 교환한다.
• 입력 크기 n에 따라 인덱싱된 GNN의 가족을 정의하며, 깊이가 유계(메시지 전달 라운드 수 및 신경망 레이어 수)이고 크기는 계산 노드 수와 절대 가중치 값의 수로 측정한다.
• rpl-근사 가능한 활성화 함수(예: ReLU, 시그모이드, 탄젠트 하이퍼볼릭)의 개념을 도입하고, 이러한 함수를 사용하는 GNNs가 GFO+C 내의 논리 공식을 시뮬레이션하고 시뮬레이션할 수 있음을 보여준다.
• 랜덤 초기화 기법(ri)을 사용하여 GNNs가 TC⁰ 내 쿼리를 계산할 수 있도록 하고, 이러한 GNNs가 임계값 게이트를 시뮬레이션할 수 있음을 증명함으로써 TC⁰의 전체 능력을 확보함을 보였다.
• 유한 모델 이론의 기법을 사용하여 GNNs를 GFO+C 내에서 시뮬레이션하고 그 반대의 경우도 시뮬레이션하는 방식으로 논리적 정의 가능성 결과를 증명하였으며, 이는 순서 불변 논리와 내장 관계를 포함한다.
• 유리수 가중치와 조각별 선형 활성화 함수를 사용하는 GNNs가 무작위 초기화 없이도 정확히 유일한 TC⁰ 내 쿼리들을 계산할 수 있음을 보였다.

실험 결과

연구 질문

• RQ1 유계 깊이의 GNNs가 실수 가중치와 표준 활성화 함수를 사용할 때 정확히 어떤 논리 조건부가 계산 가능한 쿼리들과 대응되는가?
• RQ2 랜덤 초기화가 GNN 표현력에 어떤 영향을 미치며, 이를 통해 TC⁰ 복잡도 클래스를 포괄할 수 있는가?
• RQ3 단지 SUM 집계와 ReLU 활성화 함수만을 사용하는 GNNs가 더 복잡한 집계 및 활성화 함수를 사용하는 일반 GNNs를 시뮬레이션할 수 있는가? 그리고 그 과정에서 발생하는 계산 오버헤드는 어떠한가?
• RQ4 유니폼한 TC⁰와 같은 유니폼한 회로 클래스와 일치하는 GNNs의 유니폼한 특성화가 존재하는가?
• RQ5 특히 유리수 가중치와 조각별 선형 활성화 함수로 제한된 경우, GNNs의 표현력이 첫째로 순서 이론에서의 계수를 포함한 논리로 얼마나 잘 기술될 수 있는가?

주요 결과

• 실수 가중치와 rpl-근사 가능한 활성화 함수를 사용하는 유계 깊이의 GNNs는 가드된 조건부 논리와 내장 관계를 포함한 첫째로 순서 이론에서의 계수를 포함한 GFO+Cₙᵤ로 정의 가능한 쿼리들을 정확히 계산한다.
• 랜덤 초기화와 전역 읽기 기능을 갖춘 GNNs는 정확히 복잡도 클래스 TC⁰ 내의 쿼리들을 계산하며, 이는 GNNs와 임계값 회로 사이에 밀접한 대응 관계를 확립한다.
• ReLU 활성화 함수와 SUM 집계만을 사용하는 GNNs는 비록 원래 GNNs가 비선형 활성화 함수와 다른 집계 함수를 사용하더라도, 다항식 크기의 오버헤드로 일반 GNNs를 시뮬레이션할 수 있다.
• 유리수 가중치와 조각별 선형 활성화 함수를 사용하는 GNNs는 정확히 유일한 TC⁰ 내 쿼리들을 계산하며, 이는 유리수 가중치만으로도 전체 TC⁰ 표현력을 확보할 수 있음을 보여준다.
• 결과는 무한 집계(합과 최대값)에 대해서도 성립하며, 논리적 프레임워크는 비유니폼성과 순서 없는 구조에서의 내장 관계를 처리할 수 있다.
• 이 논문은 랜덤 초기화를 갖춘 다항식 크기의 GNNs의 표현력에 대한 최초의 상계를 제공하며, 이론적 GNN 연구 분야에서 핵심적인 열린 질문을 해결한다.