[논문 리뷰] Message passing all the way up

Petar Veličković|arXiv (Cornell University)|2022. 02. 22.

Advanced Graph Neural Networks인용 수 15

한 줄 요약

이 논문은 현대 그래프 신경망(GNN) 중 대부분이 '메시지 전파를 초월한다'고 주장하지만, 사실상 수정된 그래프 구조 위에서 메시지 전파에 의존하고 있으며, 따라서 프레임워크를 진정으로 벗어나지 못하고 있다고 주장한다. 이에 따라 이러한 방법들이 여전히 이분법적 메시지 전파를 사용하고 있음을 반영하기 위해 '메시지 전파를 초월한다'는 표현을 '강화된 메시지 전파'로 대체할 것을 제안한다.

ABSTRACT

The message passing framework is the foundation of the immense success enjoyed by graph neural networks (GNNs) in recent years. In spite of its elegance, there exist many problems it provably cannot solve over given input graphs. This has led to a surge of research on going "beyond message passing", building GNNs which do not suffer from those limitations -- a term which has become ubiquitous in regular discourse. However, have those methods truly moved beyond message passing? In this position paper, I argue about the dangers of using this term -- especially when teaching graph representation learning to newcomers. I show that any function of interest we want to compute over graphs can, in all likelihood, be expressed using pairwise message passing -- just over a potentially modified graph, and argue how most practical implementations subtly do this kind of trick anyway. Hoping to initiate a productive discussion, I propose replacing "beyond message passing" with a more tame term, "augmented message passing".

연구 동기 및 목표

• 그래프 표현 학습 분야, 특히 교육적 맥락에서 '메시지 전파를 초월한다'는 표현의 광범위한 사용에 도전하기 위해.
• 모든 표현력 있는 GNN 함수가 수정된 그래프 구조 위에서 이분법적 메시지 전파로 표현될 수 있음을 보여주기 위해.
• 복잡한 연산을 사용하고 있음에도 불구하고 많은 고급 GNN이 실제로는 은폐된 형태로 메시지 전파를 구현하고 있음을 보여주기 위해.
• 메시지 전파가 현대 GNN에서 여전히 중심적인 역할을 하고 있음을 반영하는 더 정확한 용어 사용을 촉진하기 위해.
• GNN의 교육 및 연구에서 명확성과 정확성을 높이기 위해 용어에 대한 공동체 차원의 논의를 시작하기 위해.

제안 방법

• 표현력 있는 GNN을 변형된 그래프 위에서의 메시지 전파로 재구성하며, 여기서 새로운 노드 또는 간선은 고차원 구조(예: 부분그래프, k-튜플)를 나타낸다.
• 수학적 구성 기법을 사용하여 고차원 또는 동치성 보존 GNN을 통해 계산 가능한 모든 함수가 수정된 그래프 위에서 이분법적 메시지 전파로 표현될 수 있음을 보여준다.
• 선 그래프와 간선 기반 노드 개념을 적용하여 행렬 연산(예: Maron 등에서의 기저 레이어)을 간선 노드 위에서의 메시지 전파로 표현한다.
• 순열 민감성 집계나 텐서 기반 메시지 함수와 같은 복잡한 연산들도 구조화된 노드/간선 확장 기반 메시지 전파로 모방 가능함을 보여준다.
• 기존 방법들(예: 고차원 GNN, 동치성 보존 GNN)을 메시지 전파의 관점에서 분석하여 숨겨진 등가성을 드러낸다.
• '메시지 전파를 초월한다'는 표현보다 더 정확하고 오해의 여지가 적은 대안으로 '강화된 메시지 전파'를 제안한다.

실험 결과

연구 질문

• RQ1 모든 표현력 있는 GNN 함수는 수정된 그래프 구조 위에서 오직 이분법적 메시지 전파로 표현될 수 있는가?
• RQ2 '메시지 전파를 초월한다'는 GNN이 실제로 얼마나 많은 정도로 메시지 전파 원리의 은폐된 형태로 의존하고 있는가?
• RQ3 왜 '메시지 전파를 초월한다'는 표현은 그래프 표현 학습 분야의 초보자들에게 오해의 소지가 있는가?
• RQ4 고차원 및 동치성 보존 GNN은 구조적 변환의 관점에서 메시지 전파 프레임워크와 어떻게 관련되어 있는가?
• RQ5 현대의 표현력 있는 GNN의 실제 메커니즘을 과장 없이 반영할 수 있는 다른 용어는 무엇인가?

주요 결과

• 그래프 위에서 계산 가능한 모든 함수는 원칙적으로 수정된 그래프 구조 위에서 오직 이분법적 메시지 전파로 표현될 수 있다.
• 고차원 또는 동치성 보존 연산을 사용하는 많은 강력한 GNN은 실제로는 간선 노드나 부분그래프 기반 가드지와 같은 구조적 수정을 통해 메시지 전파를 수행하고 있다.
• 순열 민감성 집계나 동치성 보존 GNN 내의 행렬 곱셈과 같은 복잡한 연산들도 확장된 노드 집합 위에서의 메시지 전파로 모방할 수 있다.
• '메시지 전파를 초월한다'는 표현은 메시지 전파에서의 근본적 탈피를 암시하지만, 대부분의 현재 방법들은 이를 달성하지 못하고 있어 오해의 소지가 있다.
• 제안된 용어인 '강화된 메시지 전파'는 현대 GNN이 메시지 전파를 구조적 또는 기능적 수정을 통해 강화하고 있음을 더 잘 반영하며, 이를 대체하지는 않는다는 점을 잘 반영한다.
• '메시지 전파를 초월한다'에서 '강화된 메시지 전파'로의 개념 전환은 그래프 표현 학습 분야의 교육과 연구 방향을 명확히 하고 개선할 수 있다.