[논문 리뷰] The expressive power of pooling in Graph Neural Networks

Filippo Maria Bianchi, Veronica Lachi|arXiv (Cornell University)|2023. 04. 04.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

요약: 이 논문은 앞선 그래프 신경망 계층의 표현력을 보존하도록 풀링 연산자를 위한 원칙적이고 충분조건 기준을 제시하고, 기존 풀링 방법들을 분석하며, 실험적으로 동형식 구별력을 테스트하기 위한 EXPWL1을 도입합니다.

ABSTRACT

In Graph Neural Networks (GNNs), hierarchical pooling operators generate local summaries of the data by coarsening the graph structure and the vertex features. While considerable attention has been devoted to analyzing the expressive power of message-passing (MP) layers in GNNs, a study on how graph pooling affects the expressiveness of a GNN is still lacking. Additionally, despite the recent advances in the design of pooling operators, there is not a principled criterion to compare them. In this work, we derive sufficient conditions for a pooling operator to fully preserve the expressive power of the MP layers before it. These conditions serve as a universal and theoretically grounded criterion for choosing among existing pooling operators or designing new ones. Based on our theoretical findings, we analyze several existing pooling operators and identify those that fail to satisfy the expressiveness conditions. Finally, we introduce an experimental setup to verify empirically the expressive power of a GNN equipped with pooling layers, in terms of its capability to perform a graph isomorphism test.

연구 동기 및 목표

• 풀링이 다운스트림 작업 성능을 넘어 GNN 표현력에 미치는 영향을 평가할 필요성 제시
• 풀링이 MP-레이어의 표현력을 보존하는 충분 조건 도출
• 기존 풀링 연산자를 표현력 기준에 따라 분류
• 풀링으로 인한 표현력 변화를 테스트하기 위한 실험적 평가 프로토콜 및 전용 데이터세트(EXPWL1) 제공
• 표현력을 유지하는 풀링 연산자를 설계 또는 선택하기 위한 가이드 제공

제안 방법

• SRC(Select-Reduce-Connect) 풀링 프레임워크를 채택하여 풀링을 SEL, RED, CON 함수로 모델링
• 정리 제1: 풀링이 앞선 MP 계층의 표현력을 보존하는 세 가지 충분 조건을 증명
• SRC 프레임워크를 사용하여 조밀(Dense) 대 희소(Sparse), 학습 가능(Trainable) 대 비학습 가능(Non-trainable), 고정(Fixed) 대 적응(Adaptive) 카테고리로 풀링 연산자를 해부
• EXPWL1에서 풀링 연산자를 평가하여 WL 수준의 구별력을 확인하고 표준 그래프 분류 벤치마크에서의 성능 평가
• 풀링으로 인해 표현력과 WL 구별 가능성이 유지되는지에 대한 경험적 결과 제시

실험 결과

연구 질문

• RQ1 풀링 연산자가 앞선 MP 레이어의 표현력을 보존할 수 있는가?
• RQ2 풀링 연산자가 WL 수준의 구별력을 유지하기 위해 만족해야 하는 충분 조건은 무엇인가?
• RQ3 어떤 기존 풀링 연산자가 이러한 조건을 만족하거나 위반하며 그것이 표현력에 어떻게 영향을 미치는가?
• RQ4 풀링 계층이 있는 경우 GNN의 표현력을 경험적으로 어떻게 측정할 수 있는가?
• RQ5 EXPWL1 기반 평가가 실제 그래프 분류 벤치마크의 성능과 일치하는가?

주요 결과

풀링	에폭당 소요 시간	GIN 계층	풀링 비율	테스트 정확도	표현력
No-pool	0.33s	3	–	99.3±0.3	✓
DiffPool	0.69s	2+1	0.1	97.0±2.4	✓
DMoN	0.75s	2+1	0.1	99.0±0.7	✓
MinCut	0.72s	2+1	0.1	98.8±0.4	✓
ECPool	20.71s	2+1	0.2	100.0±0.0	✓
Graclus	1.00s	2+1	0.1	99.9±0.1	✓
k MIS	1.17s	2+1	0.1	99.9±0.1	✓
Top- k	0.47s	2+1	0.1	67.9±13.9	✗
PanPool	3.82s	2+1	0.1	63.2±7.7	✗
ASAPool	1.11s	1+1	0.1	83.5±2.5	✗
SAGPool	0.59s	1+1	0.1	79.5±9.6	✗
Rand-dense	0.41s	2+1	0.1	91.7±1.3	✓
Cmp-Graclus	8.08s	2+1	0.1	91.9±1.2	✓
Rand-sparse	0.47s	2+1	0.1	62.8±1.8	✗

• 풀링이 앞선 MP 계층과 동일한 표현력 수준을 보존하는 세 가지 충분 조건이 존재한다.
• 조건을 만족하는 밀도(Dense) 있고 학습 가능한 풀링 연산자는 풀링 이후 WL 구별 가능성을 유지한다.
• 표현력이 없는 희소 풀링 연산자(예: Top-k, PanPool, ASAPool, SAGPool)는 조건을 충족하지 못하고 표현력을 저하시킨다.
• EXPWL1에 대한 실험 결과 표현력이 있는 풀링 연산자는 거의 100% 정확도에 근접하는 반면, 비표현적 연산자는 성능이 저조하다.
• Rand-dense와 Cmp-Graclus는 표현력이 있더라도 그래프 구조 왜곡으로 인해 최상의 표현 방법에 비해 성능이 떨어진다.
• 벤치마크 데이터셋에서 표현력 있는 풀링 방법은 비표현적 방법보다 우수하며 이론적 기준을 검증한다.