[논문 리뷰] Understanding and Extending Subgraph GNNs by Rethinking Their Symmetries

Fabrizio Frasca, Beatrice Bevilacqua외 2명|arXiv (Cornell University)|2022. 06. 22.

Advanced Graph Neural Networks인용 수 21

한 줄 요약

이 논문은 정제된 대칭 그룹을 통해 노드 기반 Subgraph GNN을 분석하고, 3-WL 상한을 증명하며, unified 레이어 공간으로서 ReIGN(2)을 도입하고, SUN이 벤치마크에서 기존 모델보다 우수하다고 제시한다.

ABSTRACT

Subgraph GNNs are a recent class of expressive Graph Neural Networks (GNNs) which model graphs as collections of subgraphs. So far, the design space of possible Subgraph GNN architectures as well as their basic theoretical properties are still largely unexplored. In this paper, we study the most prominent form of subgraph methods, which employs node-based subgraph selection policies such as ego-networks or node marking and deletion. We address two central questions: (1) What is the upper-bound of the expressive power of these methods? and (2) What is the family of equivariant message passing layers on these sets of subgraphs?. Our first step in answering these questions is a novel symmetry analysis which shows that modelling the symmetries of node-based subgraph collections requires a significantly smaller symmetry group than the one adopted in previous works. This analysis is then used to establish a link between Subgraph GNNs and Invariant Graph Networks (IGNs). We answer the questions above by first bounding the expressive power of subgraph methods by 3-WL, and then proposing a general family of message-passing layers for subgraph methods that generalises all previous node-based Subgraph GNNs. Finally, we design a novel Subgraph GNN dubbed SUN, which theoretically unifies previous architectures while providing better empirical performance on multiple benchmarks.

연구 동기 및 목표

• 정제된 대칭 그룹 하에서 노드 기반 Subgraph GNN의 표현력을 규정한다.
• Subgraph GNN을 불변 그래프 네트워크(IGN)와 연결하고 그 힘을 3-WL로 상한한다.
• 기존 방법을 포괄하는 일반적이고 계산 가능한 레이어 공간(ReIGN(2))을 제안한다.
• 더 통합적이고 표현력이 높은 아키텍처로 SUN(Subgraph Union Network)을 도입한다.
• 표준 벤치마크에서 SUN의 실증적 향상을 보여준다.

제안 방법

• 노드와 서브그래프에 결합적으로 작용하는 단일 S_n 순열에 의해 노드 기반 서브그래프 모음이 지배된다는 대칭성 분석을 수행한다.
• 기존의 노드 기반 Subgraph GNN이 3-IGN으로 구현될 수 있으며 그 표현력을 3-WL로 한정한다는 것을 입증한다.
• 로컬 및 글로벌 풀링 연산을 갖춘 확장된 2-IGN 프레임워크인 ReIGN(2)을 개발하여 이전 Subgraph GNN 계층을 회복하고 일반화한다.
• SUN이 ReIGN(2) 내의 구체적 구현으로서 이전 아키텍처를 통합하고 새로운 연산자를 포함함을 보인다.
• SUN 스택이 알려진 Subgraph GNN 계층을 구현할 수 있음을 증명하고 SUN을 실용적이며 더 표현력이 높은 대안으로 제시한다.

실험 결과

연구 질문

• RQ1 노드 기반 선택 정책을 갖는 노드 기반 Subgraph GNN의 표현력 상한은 얼마인가?
• RQ2 노드 기반 서브그래프 백의 대칭성은 등가변 계층을 어떻게 제약하며, IGN 기반 형식이 어떻게 도움을 줄 수 있는가?
• RQ3 일반적이고 계산 가능한 레이어 공간(ReIGN(2))이 기존의 Subgraph GNN을 포획하고 확장할 수 있는가?
• RQ4 SUN 아키텍처가 이전 방법들을 통합하고 벤치마크 데이터셋에서 실험적 성능을 향상시키는가?

주요 결과

방법	부분구조 개수화(MAE ↓) - 삼각형	부분구조 개수화(MAE ↓) - 끝삼각형	부분구조 개수화(MAE ↓) - 스타	부분구조 개수화(MAE ↓) - 4-사이클	ZINC (MAE ↓)
GCN	0.4186	0.3248	0.1798	0.2822	0.321 ± 0.009
GIN	0.3569	0.2373	0.0224	0.2185	0.163 ± 0.004
PNA	0.3532	0.2648	0.1278	0.2430	0.133 ± 0.011
PPGN	0.0089	0.0096	0.0148	0.0090	0. - -
GNN-AK	0.0934	0.0751	0.0168	0.0726	0.105 ± 0.010
GNN-AK-ctx	0.0885	0.0696	0.0162	0.0668	0.093 ± 0.002
GNN-AK+	0.0123	0.0112	0.0150	0.0126	0.086 ± ?
SUN (EGO)	0.0092	0.0105	0.0064	0.0140	0.083 ± 0.003
SUN (EGO+)	0.0079	0.0080	0.0064	0.0105	0.084 ± 0.002

• 노드 기반 서브그래프 정책은 단일 순열 군 S_n에 의해 지배되며, 이는 이전의 두-그룹 대칭 모델을 정제하고 3-IGN과 일치한다.
• 알려진 노드 기반 Subgraph GNN의 표현력은 3-WL로 한정되며, 이는 3-IGN으로 구현될 수 있기 때문이다.
• ReIGN(2)은 계산 가능하고 표현력 있는 레이어 공간으로, 이전의 모든 노드 기반 Subgraph GNN을 회복하고 새로운 연산을 가능하게 한다.
• SUN(Subgraph Union Network)은 ReIGN(2) 내에서 이전 방법들을 일반화하고 벤치마크에서 실험적 성능 향상을 보여준다.
• 제안은 SUN 계층이 ReIGN(2) 스택으로 구현될 수 있고 SUN이 기존 Subgraph GNN 계층을 포괄한다는 것을 보여준다.