[논문 리뷰] What functions can Graph Neural Networks compute on random graphs? The role of Positional Encoding

Nicolas Keriven, Samuel Vaiter|arXiv (Cornell University)|2023. 05. 24.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

본 논문은 순열-등가 GNN이 잠재 위치 랜덤 그래프에서 근사할 수 있는 함수 공간을 특성화하고, 노드 특징(feature)과 위치 인코딩(positional encodings)의 역할을 명확히 하며, 광범위한 PE 설계에 대한 정규화 및 수렴(농도) 결과를 제시한다.

ABSTRACT

We aim to deepen the theoretical understanding of Graph Neural Networks (GNNs) on large graphs, with a focus on their expressive power. Existing analyses relate this notion to the graph isomorphism problem, which is mostly relevant for graphs of small sizes, or studied graph classification or regression tasks, while prediction tasks on nodes are far more relevant on large graphs. Recently, several works showed that, on very general random graphs models, GNNs converge to certains functions as the number of nodes grows. In this paper, we provide a more complete and intuitive description of the function space generated by equivariant GNNs for node-tasks, through general notions of convergence that encompass several previous examples. We emphasize the role of input node features, and study the impact of node Positional Encodings (PEs), a recent line of work that has been shown to yield state-of-the-art results in practice. Through the study of several examples of PEs on large random graphs, we extend previously known universality results to significantly more general models. Our theoretical results hint at some normalization tricks, which is shown numerically to have a positive impact on GNN generalization on synthetic and real data. Our proofs contain new concentration inequalities of independent interest.

연구 동기 및 목표

• 대형 랜덤 그래프에서 등가 GNN이 근사할 수 있는 함수 공간을 명확히 한다.
• 입력 노드 특징과 특히 위치 인코딩(PEs)이 GNN 표현력에 미치는 영향을 설명한다.
• 일반적인 PE 설계와 일반화에 도움이 되는 실용적 정규화를 확장된 보편성 결과로 제시한다.

제안 방법

• 그래프 쉬프트 연산자 S가 노드 특징에 작용하는 메시지 전달으로 GNN을 모델링한다.
• 샘플링 수렴을 통해 X의 잠재 함수로의 수렴으로 F_GNN(B)라는 GNN 함수 공간을 정의한다.
• S 및 Lipschitz 합성 아래의 기본 특징 집합 B의 최소 닫힌 안정적 확장으로서 F_S(B)을 도입한다.
• 가정 1( S가 연속 대응물로 수렴함) 하에서 F_GNN(B) = F_S(B)임을 증명한다.
• 고유벡터 기반 및 거리 인코딩 PEs를 포함하여 기본 특징 집합 B를 위치 인코딩을 통해 특성화한다.
• ReLU 기반 MLP 그래프 필터를 사용한 제곱적분 가능한 함수에 대한 수렴(농도) 결과와 새로운 보편 근사를 확립한다.

실험 결과

연구 질문

• RQ1 대형 잠재 위치 랜덤 그래프에서 순열-등가 GNN이 근사할 수 있는 완전한 함수 공간은 무엇인가?
• RQ2 다양한 위치 인코딩(PEs)이 노드 중심 작업에서 GNN의 보편성 및 표현력에 어떻게 영향을 미치는가?
• RQ3 대형 그래프에서 PE 구동 GNN의 수렴 및 일반화를 위해 어떤 정규화 및 농도(수렴) 결과가 필요한가?
• RQ4 Bernoulli(임의) 그래프 모델에서도 ReLU 기반 그래프 필터가 강건한 농도(수렴)를 가능하게 하는가?
• RQ5 PE 설계가 기능을 갖춘 더 일반적인 랜덤 그래프 모델로 기존의 보편성 결과를 확장하거나 개선하는가?

주요 결과

• 대형 랜덤 그래프에서의 GNN은 수렴적으로 입력 기본 집합 B의 S-확장 F_S(B)에 근사한다.
• PEs는 기본 공간 B를 크게 형성하고 궁극적으로 전체 함수 공간 F_S(B)를 결정하여 표현력을 가능하게 하거나 제한한다.
• 적절하게 재정규화된 SignNet형 고유벡터 PEs는 연속 한계의 고유함수와 정렬되고 그래프 크기에 따른 부호 불확실성을 해소한다.
• 고유값에 대한 MLP 필터를 가진 거리 인코딩 PEs는 Bernoulli-랜덤 그래프에 보편성을 확장하는 농도 결과를 만든다.
• ReLU 필터를 가진 Bernoulli 행렬에 대한 새로운 농도 부등식은 제안된 PE 설계에 대한 이론적 보장을 뒷받침한다.
• 이론에 의해 제안된 정규화 전략은 합성 및 실제 데이터 실험에서 관찰된 일반화를 향상시킨다.