[논문 리뷰] Can Graph Neural Networks Count Substructures?

Zhengdao Chen, Lei Chen외 2명|arXiv (Cornell University)|2020. 02. 10.

Advanced Graph Neural Networks참고 문헌 81인용 수 29

한 줄 요약

이 논문은 그래프 신경망(GNNs)의 표현 능력을 소속된 하위구조를 세는 데에 초점을 맞춰 조사한다. 이는 유도된 하위그래프 수와 일반 하위그래프 수를 구분한다. 메시지 전파 신경망(MPNNs)과 2-위스페일러-레만(2-WL) 네트워크가 세 개 이상의 노드를 가진 연결된 패턴의 유도된 하위그래프를 세지 못한다는 것을 증명한다. 그러나 별 모양의 하위그래프를 세는 데에는 성공한다. 저자들은 하위구조 수를 효과적으로 세는 데에 특화된 새로운 아키텍처인 로컬 관계 풀링(LRP)을 제안하며, 분자의 예측 벤치마크에서 경쟁적인 성능을 달성한다.

ABSTRACT

The ability to detect and count certain substructures in graphs is important for solving many tasks on graph-structured data, especially in the contexts of computational chemistry and biology as well as social network analysis. Inspired by this, we propose to study the expressive power of graph neural networks (GNNs) via their ability to count attributed graph substructures, extending recent works that examine their power in graph isomorphism testing and function approximation. We distinguish between two types of substructure counting: induced-subgraph-count and subgraph-count, and establish both positive and negative answers for popular GNN architectures. Specifically, we prove that Message Passing Neural Networks (MPNNs), 2-Weisfeiler-Lehman (2-WL) and 2-Invariant Graph Networks (2-IGNs) cannot perform induced-subgraph-count of substructures consisting of 3 or more nodes, while they can perform subgraph-count of star-shaped substructures. As an intermediary step, we prove that 2-WL and 2-IGNs are equivalent in distinguishing non-isomorphic graphs, partly answering an open problem raised in Maron et al. (2019). We also prove positive results for k-WL and k-IGNs as well as negative results for k-WL with a finite number of iterations. We then conduct experiments that support the theoretical results for MPNNs and 2-IGNs. Moreover, motivated by substructure counting and inspired by Murphy et al. (2019), we propose the Local Relational Pooling model and demonstrate that it is not only effective for substructure counting but also able to achieve competitive performance on molecular prediction tasks.

연구 동기 및 목표

• 화학 및 생물학 분야의 실제 응용과 관련된 소속된 하위구조를 세는 능력을 통해 GNN의 표현 능력을 이해하는 것.
• GNN 아키텍처의 유도된 하위그래프 수와 하위그래프 수 능력 간의 공식적 구분.
• MPNN 및 2-IGN과 같은 인기 있는 GNN이 복잡한 하위구조를 세는 데에 있어 근본적인 한계를 규명하는 것.
• 이러한 한계를 극복하기 위해 하위구조 수 세기에 영감을 얻은 새로운 아키텍처인 로컬 관계 풀링(LRP)을 제안하는 것.
• 기존의 GNN들과 비교하여 ogbg-molhiv, QM9, ZINC 데이터셋에서 이론적 결과를 실증적으로 검증하는 것.

제안 방법

• MPNN와 2-WL이 구분할 수 없는 비이sovolumetric 그래프 쌍을 생성하기 위해 그래프 구축 기법을 사용한 이론적 분석을 수행한다. 이러한 그래프 쌍은 서로 다른 유도된 하위그래프 수를 가지지만, MPNN와 2-WL에선 동일하게 인식된다.
• 노드 및 에지 특징을 고려한 두 가지 하위구조 수 카운팅 유형을 공식화한다: 유도된 하위그래프 수와 하위그래프 수.
• 비이sovolumetric 그래프를 구분하는 데서 2-WL과 2-IGN이 동등함을 증명하며, 문헌에서 열려 있던 문제에 부분적인 해결을 제시한다.
• 지역 하위그래프 패턴을 기반으로 메시지 전파를 수행하고 관계 특징을 집계하는 새로운 GNN 아키텍처인 로컬 관계 풀링(LRP)을 제안한다.
• LRP는 하위구조 수를 인코딩하기 위해 N2P(노드에서 패턴), E2P(에지에서 패턴), Ppl(패턴 기반 풀링) 연산을 사용한다.
• 표준 분할 및 평가 지표를 사용하여 ogbg-molhiv, QM9, ZINC 데이터셋에서 실험을 수행하며, 조기 정지와 학습률 스케줄링을 적용해 LRP 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 MPNN와 2-WL GNN은 세 개 이상의 노드를 가진 연결된 패턴의 유도된 하위그래프를 세울 수 있는가?
• RQ2 MPNN와 2-IGN은 별 모양의 패턴 하위그래프를 세울 수 있는가?
• RQ3 k-WL 및 k-IGN 아키텍처는 더 큰 패턴에 대해 하위구조 수를 세는 데에 적합한가?
• RQ4 하위구조 수를 효과적으로 세고 분자의 예측 작업에 일반화할 수 있는 GNN 아키텍처를 설계할 수 있는가?
• RQ5 제안된 로컬 관계 풀링 모델의 실증 성능은 기존의 GNN들과 비교해 어떻게 되는가?

주요 결과

• MPNN와 2-IGN은 세 개 이상의 노드를 가진 연결된 패턴의 유도된 하위그래프를 세지 못한다. 이는 서로 다른 유도된 하위그래프 수를 가지지만 동일하게 인식되는 그래프 쌍을 구성함으로써 증명된다.
• MPNN와 2-IGN은 별 모양의 패턴 하위그래프를 성공적으로 세며, 이는 기존 결과를 노드 및 에지 특징까지 포함하여 일반화한 것이다.
• 2-WL과 2-IGN은 비이sovolumetric 그래프를 구분하는 데 동등하다. 이는 문헌에서 열려 있던 문제에 대한 부분적인 해결을 제공한다.
• k-WL 및 k-IGN 아키텍처는 더 큰 패턴에 대해 하위구조 수를 세는 데에 가능하지만, 유한한 반복 횟수를 가진 k-WL은 보편적인 하위그래프 수 세기 능력을 달성할 수 없다.
• 제안된 로컬 관계 풀링(LRP) 모델은 ogbg-molhiv 및 ZINC 벤치마크에서 경쟁적인 성능을 보이며, Deep LRP-7-1은 ZINC에서 0.223 MAE를 기록해 유사한 파라미터 수를 가진 기준 모델들을 초월한다.
• 20 에포크 동안 훈련된 LRP-1-3 (ES)는 100 에포크 버전보다 더 우수한 일반화 성능을 보이며, 이는 조기 정지가 스케일드-스플릿 데이터에서 과적합을 완화시킨다는 것을 시사한다.