[논문 리뷰] Breaking the Limits of Message Passing Graph Neural Networks

Muhammet Balcılar, Pierre Héroux외 4명|arXiv (Cornell University)|2021. 06. 08.

Machine Learning and ELM인용 수 28

한 줄 요약

논문은 비선형 고유값 기반 필터와 수용영역 마스킹을 갖춘 스펙트럼 도메인 그래프 합성으로 1-WL 표현력을 능가하면서도 선형 복잡도를 유지하고, 실전에서 3-WL 등가 파워(GNNML3)를 달성하고 스펙트럼상의 유연성을 가능하게 한다.

ABSTRACT

Since the Message Passing (Graph) Neural Networks (MPNNs) have a linear complexity with respect to the number of nodes when applied to sparse graphs, they have been widely implemented and still raise a lot of interest even though their theoretical expressive power is limited to the first order Weisfeiler-Lehman test (1-WL). In this paper, we show that if the graph convolution supports are designed in spectral-domain by a non-linear custom function of eigenvalues and masked with an arbitrary large receptive field, the MPNN is theoretically more powerful than the 1-WL test and experimentally as powerful as a 3-WL existing models, while remaining spatially localized. Moreover, by designing custom filter functions, outputs can have various frequency components that allow the convolution process to learn different relationships between a given input graph signal and its associated properties. So far, the best 3-WL equivalent graph neural networks have a computational complexity in $\mathcal{O}(n^3)$ with memory usage in $\mathcal{O}(n^2)$, consider non-local update mechanism and do not provide the spectral richness of output profile. The proposed method overcomes all these aforementioned problems and reaches state-of-the-art results in many downstream tasks.

연구 동기 및 목표

• 표준 MPNN이 1-WL 표현력에 의해 한정되는 한계를 동기 부여하고 정량화한다.
• 비선형 고유값 함수가 있는 스펙트럼 도메인 그래프 합성 설계를 제안하여 표현력을 강화한다.
• 전처리 제외하고 공간적 국소성 및 선형 계산/메모리 복잡성을 유지한다.
• 1-WL 및 그 이상-1-WL 표현력을 각각 달성하기 위해 GNNML1과 GNNML3를 도입한다.
• 그래프 동형성 유사 작업, 부분구조 카운팅 및 스펙트럼 필터링 동작에서 실험적 개선을 시연한다.

제안 방법

• 학습된 주파수 응답을 가지는 스펙트럴 지지대를 설계하기 위해 그래프 합성을 C^(s) = U diag(Phi_s(lambda)) U^T로 형식화한다.
• 노드, 이웃 집계, 그리고 특성별 곱셈을 결합하는 계층 업데이트를 통해 1-WL 파워를 보존하는 GNNML1을 도입한다.
• 라플라시안/인접행렬의 멱 급수로 표현된 스펙트럼 도메인 지지대를 갖는 GNNML3을 개발하여 트레이스 및 원소별 곱셈 효과를 가능하게 한다(마스킹과 학습된 비선형 주파수 응답을 통해).
• 전처리 고유값 분해를 사용해 스펙트럴 지지대를 구성하고, 그런 다음 에지 특징 표현과 노드 특징에 작용하는 학습된 MLPs(mlp_k)로 여러 계층을 통해 전파한다.
• 제안된 모델 구현을 위한 전처리(Algorithm 1) 및 순전파 계산(Algorithm 2) 알고리즘을 제공한다.
• 그래프 동형성 유사 데이터셋과 그래프리터 카운팅 작업에서 1-WL 기초선(GCN, GAT, GraphSage, GIN, Chebnet) 및 3-WL 기초선(PPGN)과 벤치마크한다.

실험 결과

연구 질문

• RQ1 비선형 고유값 함수가 있는 스펙트럼 도메인 GNN이 선형 시간 복잡도는 유지하면서 1-WL 표현력을 능가할 수 있는가?
• RQ2 GNNML3 같은 설계가 실질적으로 3-WL 등가를 달성하고 1-WL을 넘는 부분구조를 카운트할 수 있는가?
• RQ3 제안된 모델이 그래프 신호에 대해 저주파/고주파/대역-통과와 같은 서로 다른 스펙트럴 구성요소를 학습하고 활용할 수 있는가?
• RQ4 더 높은 차수의 그래프 구분 및 하류 그래프 분류/회귀 작업에서 모델의 성능은 어떠한가?
• RQ5 강하게 규칙적인 그래프(distinguishing strongly regular graphs) 및 3-WL 등가 사례 구분에서 이 접근법의 한계는 무엇인가?

주요 결과

모델	graph8c	sr25	EXP	EXP-분류
MLP	293K	105	600	50%
GCN	4775	105	600	50%
GAT	1828	105	600	50%
GIN	386	105	600	50%
Chebnet	44	105	71	82%
PPGN	0	105	0	100%
GNNML1	333	105	600	50%
GNNML3	0	105	0	100%

• 1-WL 동등(GCN, GAT, GraphSage, GIN) GNN은 여전히 한계가 있으며, Chebnet은 특정 고유값 조건하에서 1-WL-강력할 수 있다.
• GNNML1은 1-WL 수준의 표현력을 달성하여 1-WL 능력을 매칭한다.
• GNNML3는 1-WL 한계를 벗어나 실험적으로 3-WL 파워와 일치하며 삼각형, 4-주기, 꼬리 달린 삼각형, 3-스타 그래프리트를 카운트할 수 있게 한다.
• 주파수 인식 필터를 갖춘 스펙트럴 설계는 선형 복잡도 프레임워크 내에서 트레이스 및 원소별 곱셈과 같은 효과를 실현할 수 있다(전처리 제외).
• 실험은 GNNML3 및 PPGN이 1-WL 등가이지만 3-WL 구별이 가능한 그래프 쌍을 구분하고 그래프리터 카운팅에서 우수하며, EXP 데이터셋에서 Chebnet은 최대 고유값이 다른 쌍을 구분한다.
• 스펙트럴 표현성 분석은 1-WL 등가 모델이 주로 저주파 필터를 학습하는 경향이 있음을 시사하며, GNNML1은 고주파 효과를 학습할 수 있고, GNNML3는 더 높은 스펙트럴 유연성(대역-통과)을 달성한다.
• 이 접근법은 지역성을 보존하고 선형 확장성을 유지하며 여러 다운스트림 그래프 문제에서 최첨단 성능을 달성한다.