[논문 리뷰] Building powerful and equivariant graph neural networks with structural message-passing

Clément Vignac, Andreas Loukas외 1명|arXiv (Cornell University)|2020. 06. 26.

Advanced Graph Neural Networks인용 수 23

한 줄 요약

이 논문은 구조적 메시지 전달(Structural Message-Passing, SMP)을 제안하며, 이는 기능과 함께 one-hot 노드 인코딩을 전파하여 학습 가능한 국소적 맥락 행렬을 구성함으로써 메시지 전달을 향상시키는 강력하고 순열에 등가인 그래프 신경망이다. SMP는 분자의 그래프 회귀(ZINC)에서 최고 성능을 기록하며, 합성 그래프에서 순환과 연결성과 같은 위상적 성질을 탐지하는 데에도 이전 방법들을 능가한다.

ABSTRACT

Message-passing has proved to be an effective way to design graph neural networks, as it is able to leverage both permutation equivariance and an inductive bias towards learning local structures in order to achieve good generalization. However, current message-passing architectures have a limited representation power and fail to learn basic topological properties of graphs. We address this problem and propose a powerful and equivariant message-passing framework based on two ideas: first, we propagate a one-hot encoding of the nodes, in addition to the features, in order to learn a local context matrix around each node. This matrix contains rich local information about both features and topology and can eventually be pooled to build node representations. Second, we propose methods for the parametrization of the message and update functions that ensure permutation equivariance. Having a representation that is independent of the specific choice of the one-hot encoding permits inductive reasoning and leads to better generalization properties. Experimentally, our model can predict various graph topological properties on synthetic data more accurately than previous methods and achieves state-of-the-art results on molecular graph regression on the ZINC dataset.

연구 동기 및 목표

• 표준 메시지 전달 GNN의 표현력이 제한되어 있어 연결성, 순환, 군집 계수와 같은 기본적인 그래프 위상적 성질을 학습하지 못하는 문제를 해결한다.
• 등가성 GNN에서 표현력과 일반화 간의 상충 관계를 극복하기 위해, 노드 식별자를 손상시키지 않으면서도 순열에 등가인 구조적 메커니즘을 도입한다.
• 국소적 맥락 행렬을 구성함으로써 인도적 추론을 가능하게 하여, one-hot 인코딩의 선택에 영향을 받지 않는 표현을 제공함으로써, 새로운 그래프 구조로의 일반화를 향상시킨다.
• 지역성 인도적 편향과 계산 효율성을 유지하면서도 MPNN보다 엄밀히 더 강력한 메시지 전달 프레임워크를 설계한다.
• 전문 화학적 특징을 사용하지 않고도 실세계 분자의 그래프 회귀에서 최고 성능을 기록한다.

제안 방법

• 각 노드에서 국소적 맥락 행렬을 도입하며, 이는 노드의 one-hot 인코딩과 기능으로 초기화되어, 풍부한 국소적 위상적 및 기능적 정보를 포착할 수 있도록 한다.
• 메시지 전달 메커니즘을 통해 이 맥락 행렬을 전파하며, 순열에 등가성을 유지한다: 노드 순서를 재정렬하면 행렬의 행만 순서가 바뀌지만 내용은 그대로 유지되어 등가성을 보장한다.
• 이중 단계 메시지 전달 업데이트를 사용한다: 첫 번째로, 학습 가능한 가중치와 잔차 연결을 사용해 국소적 맥락의 변환된 표현을 계산하고, 두 번째로, 학습 가능한 등가성 있는 연산을 사용해 이웃으로부터 메시지를 집계한다.
• 노드 순서에 대해 불변인 메시지 및 업데이트 함수를 설계함으로써 순열 등가성을 확보한다. 이는 맥락 텐서에서 행렬 곱셈 및 원소별 연산과 같은 행렬 연산을 사용한다.
• 잔차 연결을 활용해, 인접 행렬, 항등 행렬, 전부 1인 행렬과 같은 핵심 구조적 구성 요소를 레이어 간에 유지함으로써 안정적인 훈련과 글로벌 구조적 정보 접근을 가능하게 한다.
• 모델을 그래프 구조 위에서 학습 가능한 등가 함수로 형식화하며, 강력한 레이어로 구성된 경우 SMP가 등가 함수의 공간에서 계산적으로 보편적임을 증명한다.

실험 결과

연구 질문

• RQ1 표준 MPNN보다 엄밀히 더 표현력이 강한 메시지 전달 GNN 아키텍처를 설계할 수 있는가, 동시에 순열 등가성과 일반화를 유지할 수 있는가?
• RQ2 구조적으로 등가성 있는 방식으로 one-hot 노드 인코딩을 사용하면, 순환과 연결성과 같은 기본적인 그래프 위상적 성질을 학습할 수 있는가?
• RQ3 제안된 구조적 메시지 전달 프레임워크는 이전의 등가성 모델보다 더 나은 일반화 성능을 보일 수 있는가, 특히 인도적 추론 작업에서?
• RQ4 SMP는 전문 화학적 특징을 사용하지 않고도 분자의 그래프 회귀에서 최고 성능을 기록할 수 있는가?
• RQ5 PPGN 및 Ring-GNN과 같은 다른 강력한 GNN들과 비교할 때 SMP의 계산 효율성과 훈련 안정성은 어떠한가?

주요 결과

• SMP는 전문 특징을 사용하지 않는 방법들 중에서 ZINC 분자의 그래프 회귀 벤치마크에서 최고 성능을 기록하며, 강력한 일반화 능력과 기능-위상 통합 능력을 입증한다.
• 합성 그래프 작업에서 SMP는 테스트된 모든 구성에서 순환을 성공적으로 탐지하지만, 다른 강력한 모델들(예: Ring-GNN)은 더 큰 그래프에서 실패하고 MPNN는 완전히 실패함을 보여, 그 우월한 표현력이 뚜렷이 드러난다.
• SMP는 훈련 안정성과 수렴 속도에서 PPGN과 Ring-GNN을 모두 능가하며, 에포크당 훈련 시간은 PPGN과 유사하고 Ring-GNN보다 2~3배 더 빠르다.
• 모델은 짧은 경로 거리와 지름을 정확하게 계산하는 데 성공하여, 국소적 메시지 전달을 통해 글로벌 구조적 성질을 포착할 수 있음을 보여준다.
• SMP의 국소적 맥락 행렬은 인도적 추론을 가능하게 한다: 표현이 특정 one-hot 인코딩의 선택에 영향을 받지 않으며, 이는 새로운 그래프 순서와 구조로의 일반화를 향상시킨다.
• 이론적 분석을 통해 SMP가 강력한 레이어로 구성된 경우 등가 함수의 공간에서 계산적으로 보편적임을 입증하며, 이는 MPNN의 표현력보다 뛰어남을 증명한다.