[논문 리뷰] Counting Substructures with Higher-Order Graph Neural Networks: Possibility and Impossibility Results

Behrooz Tahmasebi, Lim, Derek외 1명|arXiv (Cornell University)|2020. 12. 06.

Advanced Graph Neural Networks참고 문헌 58인용 수 6

한 줄 요약

이 논문은 지역 이웃의 표현을 반복적으로 풀링하여 크기 $k$의 부분구조를 세는 새로운 GNN 아키텍처인 Recursive Neighborhood Pooling (RNP)을 소개한다. 이는 기존의 MPNN가 가지는 부분그래프 세는 한계를 극복하며, 기존의 고차원 GNN보다 훨씬 낮은 계산 비용으로 크기 $k$의 어떤 부분구조도 세는 데 성공한다. 또한 RNP가 부분구조 세기 문제에서 정보 이론적 및 시간 복잡도 하한선을 엄밀하게 도출함을 증명한다.

ABSTRACT

While message passing Graph Neural Networks (GNNs) have become increasingly popular architectures for learning with graphs, recent works have revealed important shortcomings in their expressive power. In response, several higher-order GNNs have been proposed that substantially increase the expressive power, albeit at a large computational cost. Motivated by this gap, we explore alternative strategies and lower bounds. In particular, we analyze a new recursive pooling technique of local neighborhoods that allows different tradeoffs of computational cost and expressive power. First, we prove that this model can count subgraphs of size $k$, and thereby overcomes a known limitation of low-order GNNs. Second, we show how recursive pooling can exploit sparsity to reduce the computational complexity compared to the existing higher-order GNNs. More generally, we provide a (near) matching information-theoretic lower bound for counting subgraphs with graph representations that pool over representations of derived (sub-)graphs. We also discuss lower bounds on time complexity.

연구 동기 및 목표

• 메시지 전파 기반 GNN의 부분구조 세기 능력, 특히 3개 이상 정점으로 구성된 유도 부분그래프에 대한 한계를 해결하기 위해.
• 기존의 고차원 GNN이 $\Theta(n^k)$ 복잡도로 너무 비용이 많이 들기 때문에, 계산적으로 효율적인 대안을 개발하기 위해.
• 풀링 기반 부분그래프 세기의 표현 능력과 계산 복잡도 간의 상호 교환 관계를 분석하기 위해.
• 어떤 GNN 아키텍처라도 부분구조를 세는 데 있어 정보 이론적 및 시간 복잡도 하한선을 설정하기 위해.
• 노드 식별자나 전체 동형성 검사에 의존하지 않고, 지역 이웃의 반복적 풀링이 부분그래프 세기 문제를 해결할 수 있는지 확인하기 위해.

제안 방법

• 지역 노드 이웃에 대해 $k$번의 반복적 풀링 연산을 적용하여 표현력을 높이는 Recursive Neighborhood Pooling (RNP) 기법을 제안한다.
• 지역 이웃에서 유도된 부분그래프의 표현을 집합 함수를 통해 집계하여, 구조 패턴을 단사적으로 인코딩할 수 있도록 한다.
• 각 수준에서 점점 더 큰 부분그래프에서 표현을 풀링하는 방식으로 $k$-튜플 노드에 대한 재귀적 메시지 전파 메커니즘을 구현한다.
• 각 재귀 수준에서 구조적 정보를 유지하기 위해 보강된 특징 표현을 도입하고, 변환을 위해 학습 가능한 MLP를 사용한다.
• 노드 표현에 대해 합집합 풀링을 적용한 후 최종적으로 MLP를 거쳐 그래프 수준의 출력을 생성하여 후속 작업에 활용한다.
• 그래프의 희소성에 맞게 적응하는 계층적 집계 전략을 설계하여, 전체 $k$-튜플 GNN보다 계산 비용을 줄였다.

실험 결과

연구 질문

• RQ1 노드 식별자나 전체 동형성 검사에 의존하지 않고, 지역 이웃에 대한 반복적 풀링 메커니즘을 사용하여 크기 $k$의 모든 부분구조를 세는 GNN 아키텍처가 가능한가?
• RQ2 이러한 반복적 풀링 접근의 계산 복잡도는 무엇이며, 기존의 고차원 GNN과 비교해 볼 때 어떻게 되는가?
• RQ3 어떤 GNN이라도 부분구조를 세는 데 있어 정보 이론적 및 시간 복잡도 하한선은 무엇인가?
• RQ4 입력 그래프의 희소성이 반복적 풀링의 부분그래프 세기 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 RNP 방법은 정확한 세기 수행을 위해 encoding이 필요한 부분그래프 수 측면에서 최적에 가까운가?

주요 결과

• RNP는 노드 식별자나 전체 동형성 검사에 의존하지 않고, 지역 이웃에 대한 단지 $k$번의 반복적 풀링 연산만으로 크기 $k$의 임의의 유도 부분그래프를 세는 데 성공하며, 기존 표준 MPNN의 근본적 한계를 극복한다.
• RNP의 계산 복잡도는 기존의 고차원 GNN보다 크게 낮으며, $\Theta(n^k)$가 아니라 관련 부분그래프의 수에 따라 스케일링된다. 특히 그래프가 희소할 경우 이는 더욱 두드러진다.
• 논문은 부분구조를 세기 위해 반드시 인코딩되어야 할 부분그래프 수에 대해 거의 일치하는 정보 이론적 하한선을 도출하였으며, RNP가 인코딩 효율 측면에서 최적에 가깝다는 것을 보여준다.
• 시간 복잡도 하한선을 유도하였으며, 부분구조를 세는 데 가능한 모든 GNN은 적어도 일정 수의 부분그래프 표현을 처리해야 하며, RNP는 이 하한선에 매우 가깝게 부합함을 보였다.
• Erdős-Rényi 및 무작위 정규 그래프에 대한 실험적 평가 결과, RNP-GNN은 파rameter와 계산 비용을 줄이며 베이스라인보다 부분그래프 세기 작업에서 뛰어난 성능을 보였다.
• EXP 데이터셋에서의 성능 평가 결과, RNP는 1-WL 동치이지만 3-WL으로는 구분 가능한 그래프를 정확히 구분함으로써, 표준 MPNN를 초월한 뛰어난 표현 능력을 입증하였다.