[논문 리뷰] Building powerful and equivariant graph neural networks with message-passing

Clément Vignac, Andreas Loukas외 1명|arXiv (Cornell University)|2020. 06. 26.

Advanced Graph Neural Networks참고 문헌 23인용 수 5

한 줄 요약

이 논문은 국소적 문맥 행렬을 구축하기 위해 노드의 one-hot 인코딩을 특징과 함께 전파함으로써 표현력과 순열 동치성(permutation equivariance)을 향상시키는 새로운 메시지 전달 그래프 신경망을 제안한다. 이 방법은 분자의 그래프 회귀(ZINC)에서 최고 성능을 기록하고, 합성 데이터에서 그래프의 위상적 성질을 정확하게 예측한다.

ABSTRACT

Message-passing has proved to be an effective way to design graph neural networks, as it is able to leverage both permutation equivariance and an inductive bias towards learning local structures in order to achieve good generalization. However, current message-passing architectures have a limited representation power and fail to learn basic topological properties of graphs. We address this problem and propose a powerful and equivariant message-passing framework based on two ideas: first, we propagate a one-hot encoding of the nodes, in addition to the features, in order to learn a local context matrix around each node. This matrix contains rich local information about both features and topology and can eventually be pooled to build node representations. Second, we propose methods for the parametrization of the message and update functions that ensure permutation equivariance. Having a representation that is independent of the specific choice of the one-hot encoding permits inductive reasoning and leads to better generalization properties. Experimentally, our model can predict various graph topological properties on synthetic data more accurately than previous methods and achieves state-of-the-art results on molecular graph regression on the ZINC dataset.

연구 동기 및 목표

• 기존 메시지 전달 GNN의 기본적인 그래프 위상적 성질을 포착하는 데 한계가 있음을 해결하기 위해.
• 구조화된 메시지 및 업데이트 함수의 매개변수화를 통해 GNN의 순열 동치성을 향상시키기 위해.
• 특정 one-hot 인코딩 선택에 의존하지 않는 표현을 통해 인덕티브 추론(inductive reasoning)을 가능하게 하기 위해.
• 특히 합성 및 분자의 그래프 설정에서 그래프 표현 학습 작업의 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• 노드의 one-hot 인코딩을 노드 특징과 함께 전파하여 각 노드의 국소적 문맥 행렬을 구성한다.
• 국소적 문맥 행렬을 활용해 풀링을 통해 노드 표현을 풍부화시켜 특징과 위상 정보를 모두 포착한다.
• 메시지 및 업데이트 함수를 특정한 방식으로 매개변수화하여 순열 동치성을 보장한다.
• one-hot 인코딩 선택에 대해 표현이 불변(invariant)이 되도록 설계하여 인덕티브 추론과 더 나은 일반화를 지원한다.
• 이 프레임워크를 합성 그래프 위상 예측 및 실제 분자 그래프 회귀 작업에 모두 적용한다.

실험 결과

연구 질문

• RQ1 메시지 전달 GNN이 연결성 및 사이클 탐지와 같은 그래프 위상적 성질을 더 잘 학습할 수 있도록 만들 수 있는가?
• RQ2 GNN의 표현 능력을 크게 향상시키면서도 순열 동치성을 유지할 수 있는가?
• RQ3 one-hot 인코딩 전파를 통합함으로써 일반화 능력과 인덕티브 추론 능력이 얼마나 향상되는가?
• RQ4 이 프레임워크는 ZINC와 같은 벤치마크 분자 그래프 회귀 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 ZINC 분자 그래프 회귀 벤치마크에서 최고 성능을 기록한다.
• 합성 데이터에서 다양한 그래프 위상적 성질을 이전 방법보다 더 정확하게 예측한다.
• one-hot 인코딩 전파의 사용으로 더 풍부한 국소적 구조적 맥락을 학습할 수 있다.
• 메시지 및 업데이트 함수의 매개변수화로 강력한 순열 동치성이 보장된다.