[논문 리뷰] On Graph Neural Networks versus Graph-Augmented MLPs

Zhengdao Chen, Lei Chen외 1명|arXiv (Cornell University)|2021. 05. 03.

Advanced Graph Neural Networks참고 문헌 48인용 수 2

한 줄 요약

이 논문은 그래프 신경망(GNNs)과 그래프 증강 다층 퍼셉트론(GA-MLPs)을 비교한다. GA-MLPs는 다중호프 그래프 연산자를 사용해 노드 특징을 증강한 후 표준 다층 퍼셉트론을 적용한다. GA-MLPs는 Weisfeiler-Lehman 테스트를 통해 비동형 그래프를 식별하는 데 GNNs와 유사한 성능을 보이나, 특성가중 보행 수를 세는 데에는 지수적으로 떨어지는 표현 능력을 보이며, 연산자 선택에 의해 제한되며, 더 유연한 GNNs와는 달리 제한된다.

ABSTRACT

From the angles of expressive power and learning, this work compares multi-layer Graph Neural Networks (GNNs) with a simplified alternative that we call Graph-Augmented Multi-Layer Perceptrons (GA-MLPs), which first augments node features with certain multi-hop operators on the graph and then applies an MLP in a node-wise fashion. From the perspective of graph isomorphism testing, we show both theoretically and numerically that GA-MLP with suitable operators can distinguish almost all non-isomorphic graphs, just like the Weifeiler-Lehman (WL) test. However, by viewing them as node-level functions and examining the equivalence classes that they induce on rooted graphs, we prove a separation in expressive power between GA-MLPs and GNNs that grows exponentially in depth. In particular, unlike GNNs, GA-MLPs are unable to count the number of attributed walks. We also demonstrate via community detection experiments that GA-MLPs can be limited by their choice of operator family, as compared to GNNs with higher flexibility in learning.

연구 동기 및 목표

• GA-MLPs가 그래프 표현 학습에서 GNNs의 표현 능력을 따라할 수 있는지 조사하기.
• GNNs를 초월해 그래프 구조를 식별하는 데 있어 GA-MLPs의 한계 분석하기.
• 학습 가능한 GNNs와의 비교에서 GA-MLPs 성능에 영향을 미치는 연산자 선택의 영향 평가하기.
• 특히 특성가중 보행 수 계산에서의 이론적·실험적 표현 능력 차이를 이해하기.

제안 방법

• 노드 특징을 다중호프 그래프 연산자를 사용해 증강한 후 표준 다층 퍼셉트론을 적용하는 GA-MLPs를 제안하여 GNNs의 단순화된 대안으로 제시하기.
• 적절한 연산자를 사용할 때 GA-MLPs의 동형성 식별 능력을 평가하기 위해 Weisfeiler-Lehman(WL) 테스트를 기준으로 삼기.
• 루트가 있는 그래프에 대해 GA-MLPs와 GNNs가 유도하는 동치류를 이론적으로 분석하여 표현 능력의 차이를 드러내기.
• GA-MLPs가 특성가중 보행의 수를 세는 것을 불가능하다는 형식적 증명을 수립하기.
• 다양한 연산자 가족을 사용한 커뮤니티 탐지 실험을 통해 GA-MLPs와 GNNs의 성능을 실증적으로 비교하기.
• 노드 수준의 함수 분석을 통해 GA-MLPs와 GNNs의 인도적 편향과 표현 능력의 차이 비교하기.

실험 결과

연구 질문

• RQ1 적절한 다중호프 연산자를 사용할 경우 GA-MLPs는 Weisfeiler-Lehman 테스트와 유사하게 거의 모든 비동형 그래프를 식별할 수 있는가?
• RQ2 네트워크 깊이가 증가함에 따라 GA-MLPs의 표현 능력이 GNNs와 지수적으로 다를 수 있는가?
• RQ3 GA-MLPs는 그래프 내 특성가중 보행의 수를 세는 데 성공할 수 있으며, GNNs와 비교해 어떤가?
• RQ4 다중호프 연산자 가족의 선택이 실세계 그래프 학습 과제에서 GA-MLPs의 성능에 어떤 영향을 미치는가?
• RQ5 노드 수준 예측 과제에서 학습 가능한 GNNs에 비해 GA-MLPs의 근본적인 표현 제한은 무엇인가?

주요 결과

• 적절한 다중호프 연산자를 사용한 GA-MLPs는 거의 모든 비동형 그래프를 식별할 수 있으며, Weisfeiler-Lehman 테스트 성능을 따라간다.
• 루트가 있는 그래프에 대해 GA-MLPs와 GNNs 간의 동치류 분석에서 표현 능력의 지수적 분리가 존재한다.
• GA-MLPs는 그래프 내 특성가중 보행의 수를 세는 데 근본적으로 실패한다. 이는 GNNs가 가진 능력이다.
• 커뮤니티 탐지 실험 결과, GA-MLPs는 고정된 연산자 가족에 의해 제약을 받는 반면, GNNs는 학습 가능한 인도적 편향 덕분에 더 높은 성능을 기록한다.
• 이론적 분석을 통해 GA-MLPs는 동형성 초월 복잡한 구조 패턴을 포착하는 데 GNNs의 표현 능력에 뒤진다는 것이 확인된다.
• GNNs와 동형성 테스트에서 성능을 따라가지만, GA-MLPs는 복잡한 그래프 수준 및 노드 수준 함수 학습에서 더 유연하고 강력하지 않다.