[논문 리뷰] Improving Graph Neural Network Expressivity via Subgraph Isomorphism Counting

Giorgos Bouritsas, Fabrizio Frasca외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Graph Neural Networks참고 문헌 117인용 수 25

한 줄 요약

이 논문은 메시지 전파 GNN 아키텍처인 그래프 부분구조 네트워크(GSN)를 제안한다. GSN은 집합 기반 함수에 부분그래프 동형성 수를 통합함으로써 표현력을 향상시킨다. 부분구조 수를 통해 구조적 불변성을 인코딩함으로써, 국소성과 선형 복잡도를 유지하면서도 Weisfeiler-Leman(WL) 테스트를 초월하는 표현력을 확보하며, 분자의 네트워크와 사회적 네트워크 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

While Graph Neural Networks (GNNs) have achieved remarkable results in a variety of applications, recent studies exposed important shortcomings in their ability to capture the structure of the underlying graph. It has been shown that the expressive power of standard GNNs is bounded by the Weisfeiler-Leman (WL) graph isomorphism test, from which they inherit proven limitations such as the inability to detect and count graph substructures. On the other hand, there is significant empirical evidence, e.g. in network science and bioinformatics, that substructures are often intimately related to downstream tasks. To this end, we propose "Graph Substructure Networks" (GSN), a topologically-aware message passing scheme based on substructure encoding. We theoretically analyse the expressive power of our architecture, showing that it is strictly more expressive than the WL test, and provide sufficient conditions for universality. Importantly, we do not attempt to adhere to the WL hierarchy; this allows us to retain multiple attractive properties of standard GNNs such as locality and linear network complexity, while being able to disambiguate even hard instances of graph isomorphism. We perform an extensive experimental evaluation on graph classification and regression tasks and obtain state-of-the-art results in diverse real-world settings including molecular graphs and social networks. The code is publicly available at https://github.com/gbouritsas/graph-substructure-networks.

연구 동기 및 목표

• 표준 GNN의 제한된 표현력 문제를 해결하기 위해, Weisfeiler-Leman(WL) 테스트에 의해 제한되며 특정 비동형 그래프를 구분할 수 없는 GNN의 한계를 극복한다.
• 생물정보학, 화학, 네트워크 과학에서 중요한 부분구조 탐지 및 수를 세는 능력을 GNN에 부여하면서도 그래프 동형성에 대한 불변성을 유지한다.
• 메시지 전파 프레임워크를 개발하여 부분구조 수에서 유도된 구조적 인도적 편향을 활용해 局소 대칭성을 깨뜨린다.
• 표준 GNN보다 더 높은 표현력을 확보하면서도 계산 효율성과 국소성을 유지한다.
• 실세계 그래프 분류 및 회귀 작업, 특히 분자의 네트워크와 사회적 네트워크에서 모델의 실증적 검증을 수행한다.

제안 방법

• 이 방법은 각 노드나 엣지 주변의 동형 부분그래프(예: 사이클, 그래프릿) 수를 세어 부분구조 인코딩을 메시지 전파에 통합함으로써 메시지 전파를 보강하는 그래프 부분구조 네트워크(GSN)를 도입한다.
• 각 이웃에 대해 메시지는 부분구조 수에 대한 학습 가능한 함수에 의해 가중치가 부여되며, 이는 정점 중심(GSN-v) 또는 엣지 중심(GSN-e) 방식을 취한다. 이를 통해 대칭성을 깨고 위상적 맥락을 인코딩한다.
• 집합 연산은 방향성 평균 연산자를 사용하며, 주어진 부분구조 수에서 유도된 어텐션 계수를 사용한다. GSN-e의 경우 α_v,u = |x^E_v,u| / (ε + Σ_u |x^E_v,u|)이며, GSN-v의 경우 α_v,u = |x^V_v - x^V_u| / (ε + Σ_u |x^V_v - x^V_u|)이다.
• 정점 표현은 집합된 메시지에 다층 퍼셉트론(MLP)을 적용하여 업데이트하며, 표준 GNN 메시지 전파 구조를 유지하면서도 추가적인 구조적 불변성을 확보한다.
• 표준 최적화를 사용하여 엔드 투 엔드로 모델을 훈련시키며, 부분구조 유형(예: 길이 3~12의 사이클)은 검증 성능에 기반한 하이퍼파rameter 서치를 통해 선택된다.
• 공정한 평가를 위해 비교를 위해 DeepSets 기반 베이스라인을 사용하며, 너비와 깊이를 GSN과 동일하게 설정한다.

실험 결과

연구 질문

• RQ1 메시지 전파에 부분구조 수를 통합함으로써, GNN이 Weisfeiler-Leman 테스트를 초월하는 표현력을 확보할 수 있는가?
• RQ2 부분구조 인코딩은 GNN이 강력한 정규 그래프와 같은 어려운 그래프 동형성 사례를 구분하는 데 도움이 되는가?
• RQ3 부분구조 기반의 인도적 편향은 계산 복잡도 증가 없이도 실세계 그래프 학습 작업에서 성능 향상에 기여하는가?
• RQ4 다양한 데이터셋에서 부분구조 유형(예: 사이클, 그래프릿)의 선택이 모델 성능에 어떤 영향을 미치는가?
• RQ5 부분구조 수를 통한 구조적 불변성의 통합은 그래프 동형성 불변성을 유지하면서도 더 나은 일반화를 가능하게 하는가?

주요 결과

• GSN은 ogbg-molhiv 및 ZINC 데이터셋에서 최고 성능을 기록하였으며, 6정점 사이클 그래프릿을 사용한 GSN-e가 검증 ROC-AUC에서 최고 성능을 기록했다.
• TUDatasets 벤치마크에서 GSN은 표준 GNN과 베이스라인 모델을 모두 압도했으며, 특히 MUTAG과 Proteins에서 더 작은 GSN 버전(너비 또는 깊이 감소)이 더 큰 버전보다 뛰어난 성능을 보였다. 이는 과적합 감소로 인한 결과였다.
• GSN의 표현력은 표준 GNN과 WL 테스트를 명백히 초월하며, WL 테스트가 구분하지 못하는 비동형 그래프도 구분할 수 있다.
• DeepSets 기반 베이스라인은 구조적 식별자 정보를 사용하여 MUTAG과 Proteins에서 최고 성능을 기록했으며, 이는 구조적 특징 자체만으로도 강력할 수 있음을 시사하지만, GSN은 이러한 특징들을 메시지 전파에 통합함으로써 성능을 추가로 향상시켰다.
• 절단 실험 결과, 검증 성능에 기반한 부분구조 선택이 매우 중요하며, ogbg-molhiv에서 길이 6의 사이클 기반 그래프릿이 최적의 성능을 기록했다.
• GSN은 고차원 GNN이 WL 계층을 따르는 것과 달리 선형 복잡도와 국소성을 유지하며, 실세계 그래프에 대해 확장 가능하고 실용적인 구조를 갖추고 있다.