[논문 리뷰] Going Deeper into Permutation-Sensitive Graph Neural Networks

Zhongyu Huang, Yingheng Wang외 2명|arXiv (Cornell University)|2022. 05. 28.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 이웃 노드 간의 상호관계를 효율적으로 포착하기 위해 순열군 기반의 샘플링 전략을 사용하는 새로운 그래프 신경망 PG-GNN을 제안한다. 이는 2-WL 테스트보다 엄격히 강력한 표현력을 가지며, 3-WL 테스트보다 약하지 않은 표현력을 확보하면서도 선형 샘플링 복잡도를 유지한다. 이로 인해 전체 순열 열거에 비해 계산 비용을 크게 줄인 깊이 있는, 더 표현력 있는 GNN을 구현할 수 있다.

ABSTRACT

The invariance to permutations of the adjacency matrix, i.e., graph isomorphism, is an overarching requirement for Graph Neural Networks (GNNs). Conventionally, this prerequisite can be satisfied by the invariant operations over node permutations when aggregating messages. However, such an invariant manner may ignore the relationships among neighboring nodes, thereby hindering the expressivity of GNNs. In this work, we devise an efficient permutation-sensitive aggregation mechanism via permutation groups, capturing pairwise correlations between neighboring nodes. We prove that our approach is strictly more powerful than the 2-dimensional Weisfeiler-Lehman (2-WL) graph isomorphism test and not less powerful than the 3-WL test. Moreover, we prove that our approach achieves the linear sampling complexity. Comprehensive experiments on multiple synthetic and real-world datasets demonstrate the superiority of our model.

연구 동기 및 목표

• 이웃 노드 간의 구조적 관계를 忽시하는 순열 불변 GNN의 한계를 해결하기 위해.
• 모든 순열을 열거하지 않고도 이웃 노드 간의 쌍별 상관관계를 포착하는 계산 효율적인 방법을 설계하기 위해.
• 2-WL 테스트를 초월하는 표현력을 확보하면서도 선형 샘플링 복잡도를 유지하기 위해.
• 전체 순열 모델링의 계산 복잡도 장벽을 극복하여 더 깊은 GNN 아키텍처를 가능하게 하기 위해.
• 순열 불변성의 근사치로 쌍별 상관관계에 대한 불변성을 사용함으로써 표현력과 일반화 능력의 균형을 유지하기 위해.

제안 방법

• 순열 샘플링 복잡도를 O(n log n)에서 O(n)으로 감소시키는 순열군(PG) 샘플링 전략을 제안한다.
• 이웃 노드 간의 총 n(n−1)/2개의 쌍별 상관관계를 커버하는 소수의 대표적 순열을 PG를 통해 샘플링한다.
• 샘플된 순열에 대해 순열 민감한 집계기법(예: LSTMs)을 사용하여 이웃 노드 간의 관계를 모델링한다.
• 2-WL 테스트보다 엄격히 강력하고, 3-WL 테스트보다 약하지 않은 표현력을 가지는 집계 메커니즘을 설계한다.
• 배치 정규화와 잔차 연결을 포함한 깊이 있는 GNN 프레임워크에 PG 기반 집계를 통합한다.
• 순열 불변성의 대체 수단으로 쌍별 상관관계에 대한 불변성을 사용하여 표현력과 일반화 능력의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 2-WL 테스트를 초월하는 표현력을 확보하면서도 선형 계산 복잡도를 유지할 수 있는가?
• RQ2 작은 수의 샘플된 순열을 통해 이웃 노드 간의 쌍별 상관관계를 효과적으로 포착할 수 있는가?
• RQ3 제안된 순열군 기반 샘플링 전략이 표현력의 손실 없이 복잡도를 감소시키는가?
• RQ4 순열 민감한 모델임에도 불구하고 일반화 성능이 잘 유지되는가?
• RQ5 기존의 순열 불변 및 순열 민감한 GNN들과 비교해 본 논문의 방법은 표현력에서 어떤가?

주요 결과

• 제안된 PG-GNN는 2-WL 테스트보다 엄격히 강력한 표현력을 확보하여, 2-WL이 구분하지 못하는 그래프를 구분할 수 있다.
• 3-WL 테스트보다 약하지 않다는 점에서 높은 표현 능력을 보인다.
• 순열 샘플링 복잡도가 O(n log n)에서 O(n)으로 감소하여 효율성이 크게 향상되었다.
• 합성 데이터셋에서 PG-GNN는 4클리크 및 5클리크 그래프와 같은 복잡한 그래프 구조를 구분하는 데 2-WL 기반 모델보다 뛰어난 성능을 보였다.
• TUDataset, MNIST, ZINC 등의 실세계 벤치마크에서 PG-GNN는 더 적은 파라미터와 더 빠른 추론을 통해 최신 기준 성능 또는 경쟁 가능한 성능을 달성했다.
• 제거 실험을 통해 PG 샘플링과 순열 민감한 집계의 조합이 局부 하위구조 상관관계를 포착하는 데 핵심적임을 확인했다.