[논문 리뷰] GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing

Wentao Zhang, Yu Shen외 7명|arXiv (Cornell University)|2021. 04. 20.

Advanced Graph Neural Networks참고 문헌 36인용 수 5

한 줄 요약

GMLP는 메시지 전파를 신경망 갱신에서 분리함으로써 사전에 계산된 특징-메시지 전파를 통해 확장성 있고 유연한 그래프 신경망을 가능하게 하는 새로운 그래프 다층 퍼셉트론 프레임워크를 제안한다. 메시지 집계와 모델 갱신을 분리함으로써 GMLP는 ogbn-products를 포함한 11개 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들인 GraphSAGE와 비교해 훨씬 뛰어난 훈련 확장성과 효율성을 확보한다.

ABSTRACT

In recent studies, neural message passing has proved to be an effective way to design graph neural networks (GNNs), which have achieved state-of-the-art performance in many graph-based tasks. However, current neural-message passing architectures typically need to perform an expensive recursive neighborhood expansion in multiple rounds and consequently suffer from a scalability issue. Moreover, most existing neural-message passing schemes are inflexible since they are restricted to fixed-hop neighborhoods and insensitive to the actual demands of different nodes. We circumvent these limitations by a novel feature-message passing framework, called Graph Multi-layer Perceptron (GMLP), which separates the neural update from the message passing. With such separation, GMLP significantly improves the scalability and efficiency by performing the message passing procedure in a pre-compute manner, and is flexible and adaptive in leveraging node feature messages over various levels of localities. We further derive novel variants of scalable GNNs under this framework to achieve the best of both worlds in terms of performance and efficiency. We conduct extensive evaluations on 11 benchmark datasets, including large-scale datasets like ogbn-products and an industrial dataset, demonstrating that GMLP achieves not only the state-of-art performance, but also high training scalability and efficiency.

연구 동기 및 목표

• 훈련 중에 반복적인 근접 이웃 확장을 유발하는 기존 신경망 기반 메시지 전파 GNN의 확장성 한계를 해결한다.
• 고정된 힙 수준의 이웃 집계로 인해 발생하는 유연성 부족 문제를 해결한다. 이는 과도한 스무딩 또는 관련 있는 국소 정보 손실을 초래한다.
• 노드별로 다른 이웃 요구를 고려하는 적응형, 다중 척도 메시지 집계를 가능하게 하여 표현 학습을 향상시킨다.
• 모델 성능을 유지하거나 향상시키면서도 높은 훈련 확장성과 효율성을 확보하는 프레임워크를 개발한다.
• 그래프 수준 및 메시지 수준에서 커스터마이징 가능한 집계기능을 갖춘 새로운 확장 가능한 GNN 변종을 구축하기 위한 민첩한 추상화를 제공한다.

제안 방법

• 메시지 전파를 신경망 갱신에서 분리하는 새로운 특징-메시지 전파(FMP) 추상화를 도입한다.
• 훈련 이전에 그래프 집계 단계에서 메시지를 사전에 계산하고 분배함으로써 역전파 중 반복적인 비용이 많이 드는 메시지 전파를 제거한다.
• 다양한 국소성(예: 1-호프, 2-호프, 최대 T-호프 이웃)에서 메시지를 생성하기 위해 다수의 그래프 집계기능을 사용한다.
• 노드별 필요에 따라 여러 호프의 메시지를 적응적으로 조합할 수 있는 학습 가능한 메시지 집계기능(예: 자기 가이드드 어텐션)을 활용한다.
• 업데이트 함수를 메시지 전파에서 분리함으로써, 메시지 집계 이후 표준 피드포워드 네트워크를 사용한 표현 학습이 가능해진다.
• 최소한의 통신 오버헤드(단지 파라미터 동기화에 국한됨)로 독립형 및 분산 훈련을 모두 지원한다.

실험 결과

연구 질문

• RQ1 메시지 전파를 신경망 갱신에서 분리함으로써 훈련 확장성을 향상시킬 수 있는 GNN 프레임워크를 설계할 수 있는가?
• RQ2 다른 노드들 사이에서 변동하는 이웃 요구를 더 잘 다룰 수 있도록 GNN을 어떻게 더 민첩하게 만들 수 있는가?
• RQ3 사전에 계산된 메시지 전파가 반복적 메시지 전파보다 유사하거나 더 나은 성능을 달성하면서도 훈련 시간과 통신 비용을 줄일 수 있는가?
• RQ4 적응형 다중 호프 메시지 집계가 과도한 스무딩 없이 대규모 그래프에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ5 SGC 및 GraphSAGE와 같은 기존의 확장 가능한 GNN과 비교했을 때, 제안된 프레임워크는 정확도, 효율성, 확장성 측면에서 어떻게 다른가?

주요 결과

• GMLP는 ogbn-products를 포함한 11개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 SOTA 방법들보다 일관된 개선을 보였다.
• ogbn-products 데이터셋에서 GMLP는 GCN 및 ResGCN가 과도한 스무딩으로 성능이 저하되는 것과는 달리, 집계 단계가 증가함에 따라 높은 테스트 정확도를 유지했다.
• 분산 훈련 환경에서 GMLP는 최대 8명의 워커까지 근사 선형 속도 향상을 달성했으며, GraphSAGE는 반복적인 메시지 획득으로 인한 I/O 병목 현상으로 인해 성능 향상이 점점 줄어들었다.
• GMLP의 자기 가이드드 어텐션 메커니즘은 1-단계 및 2-단계 메시지에 더 높은 가중치를 할당하여 국소적 구조를 유지하면서도, 고도수 노드의 경우 먼 거리의 노이즈가 많은 메시지의 영향을 줄였다.
• GMLP의 사전 계산된 메시지 전파 방식은 훈련 시간을 크게 단축시켰으며, 통신 비용은 파라미터 동기화에만 국한되었다. 이는 GraphSAGE의 반복적 메시지 전파 방식과는 대조적이다.
• 이 프레임워크는 정확도와 효율성을 균형 잡은 새로운 GNN 변종의 구현을 가능하게 하여, 확장성과 성능를 동시에 최적화할 수 있음을 입증했다.