[논문 리뷰] A Theoretical Comparison of Graph Neural Network Extensions

Pál András Papp, Roger Wattenhofer|arXiv (Cornell University)|2022. 01. 30.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 표준 GNN의 1-WL 테스트에 의해 제한되는 한계를 극복하기 위해 세 가지 새로운 GNN 확장 방식—하나의 하위그래프 전처리(Sₖ), 이웃 전처리(Nₖ), 노드 마킹(Mₖ)—을 소개하고 비교한다. 새로운 표현력 계층을 수립하여, k ≥ 3일 때 Sₖ가 Mₖ보다 엄밀히 더 표현력이 뛰어남을 보이며, Mₖ는 Nₖ가 구별하지 못하는 그래프를 구별할 수 있음을 보여주고, 동시에 Sₖ가 (k+1)-사이클을 세지 못함을 증명함으로써 하위그래프 기반 접근의 근본적 한계를 드러낸다.

ABSTRACT

We study and compare different Graph Neural Network extensions that increase the expressive power of GNNs beyond the Weisfeiler-Leman test. We focus on (i) GNNs based on higher order WL methods, (ii) GNNs that preprocess small substructures in the graph, (iii) GNNs that preprocess the graph up to a small radius, and (iv) GNNs that slightly perturb the graph to compute an embedding. We begin by presenting a simple improvement for this last extension that strictly increases the expressive power of this GNN variant. Then, as our main result, we compare the expressiveness of these extensions to each other through a series of example constructions that can be distinguished by one of the extensions, but not by another one. We also show negative examples that are particularly challenging for each of the extensions, and we prove several claims about the ability of these extensions to count cliques and cycles in the graph.

연구 동기 및 목표

• 문헌에서 제시된 GNN 표현력 향상의 세 가지 주요 접근 방식—하위그래프 전처리(Sₖ), 이웃 전처리(Nₖ), 노드 마킹(Mₖ)—을 식별하고 체계화하는 것.
• 기존의 굵은 k-WL 계층보다 더 세밀한 표현력 계층을 제안하는 것.
• 서로 다른 확장 방식 간의 표현력 상대적 비교를 위해, 한쪽은 구별할 수 있지만 다른 쪽은 구별할 수 없는 명시적 그래프 구성 요소를 사용하는 것.
• 각 확장 방식이 클리크나 사이클과 같은 특정 하위구조를 그래프 분류 및 노드 분류 설정 하에서 얼마나 잘 세는지 분석하는 것.

제안 방법

• 저자들은 세 가지 GNN 확장 방식을 정의한다: Sₖ는 크기가 k 이하인 모든 하위그래프를 처리하며, Nₖ는 k-호프 인접한 이웃을 처리하고, Mₖ는 k개의 노드를 마킹하거나 제거하여 대칭성 깨뜨림을 구현한다.
• 특정한 그래프 쌍을 구성하여, 한 쪽 확장 방식에서는 구별할 수 없지만 다른 쪽은 구별할 수 있도록 하며, 다양한 길이의 사이클과 대칭성 깨뜨림을 위한 중심 노드를 활용한다.
• 각 확장 방식에 대해 특정 그래프 변환에 대해 불변임을 증명함으로써, 그래프를 구별하는 데서의 한계를 보여준다.
• 예를 들어 레마 C.1, C.2 등의 이론적 증명과 보조 정리들을 활용하여, 하위그래프나 이웃이 동형일 경우 특정 조건 하에서 임베딩이 동일하게 유지됨을 보여준다.
• 확장 방식 간의 비교 외에도 고전적인 k-WL 계층과의 비교를 수행하여, k-WL 계층이 실질적 비교에 비해 너무 굵다고 밝힌다.
• 하위그래프 카운팅 능력을 분석하기 위해, 서로 다른 길이의 사이클이 분리된 다수의 사이클을 포함하는 그래프를 구성하며, Sₖ가 (k+1)-사이클을 세지 못하고, Nₖ가 (2k+2)-사이클을 세지 못함을 증명한다.

실험 결과

연구 질문

• RQ1 Sₖ, Nₖ, Mₖ의 표현력은 상호 비교하여 엄밀한 순서가 존재하는가, 아니면 상호 비교 불가인가?
• RQ2 k-WL 계층은 GNN 확장 방식 평가에 의미 있는 기준이 되는가, 아니면 실질적 비교에는 너무 굵은가?
• RQ3 Sₖ, Nₖ, Mₖ는 사이클이나 클리크와 같은 특정 하위구조를 얼마나 잘 세울 수 있는가?
• RQ4 예를 들어 Mₖ가 이전의 대칭성 깨뜨림 방법보다 엄밀히 더 표현력이 뛰어난 GNN 확장 방식이 존재하는가?
• RQ5 한 확장 방식은 구별할 수 있지만 다른 확장 방식은 구별할 수 없는 그래프 쌍을 구성할 수 있으며, 이러한 구성은 각 접근 방식의 한계를 어떻게 드러내는가?

주요 결과

• k ≥ 3일 때 Sₖ는 Mₖ보다 엄밀히 더 표현력이 뛰어나며, 이는 Sₖ가 길이 2k+1의 사이클을 포함한 두 그래프를 구별할 수 있지만 Mₖ는 그렇지 못함을 보여주는 구성에 의해 입증된다.
• Mₖ는 Nₖ보다 엄밀히 더 표현력이 뛰어나며, 이는 Mₖ가 긴 사이클을 포함한 두 그래프를 구별할 수 있지만 Nₖ는 그렇지 못함을 보여주는 구성에 의해 입증된다.
• Sₖ는 (k+1)-사이클을 세지 못하며, 이는 서로 다른 길이의 사이클을 포함하는 그래프 내에서 동형인 하위그래프가 존재하기 때문이다.
• Nₖ는 (2k+2)-사이클을 세지 못하며, 이는 이러한 그래프 내에서 노드의 k-호프 이웃이 서로 다른 사이클 길이에 대해 동형이기 때문이다.
• k ≥ 3일 때 Sₖ는 Mₖ가 구별하지 못하는 그래프를 구별할 수 있지만, 그 반대는 성립하지 않으며, 이는 이 영역에서 Sₖ가 Mₖ보다 엄밀히 승리함을 보여준다.
• 논문은 그래프 분류 설정에서 Sₖ가 Nₖ보다 더 표현력이 뛰어나며, Sₖ₊₃ > Nₖ임을 보여주지만, 다른 비교 결과들에 비해 상대적으로 약한 결과임을 밝힌다.