[논문 리뷰] Scalable Graph Neural Networks via Bidirectional Propagation

Ming Chen, Zhewei Wei외 5명|arXiv (Cornell University)|2020. 10. 29.

Advanced Graph Neural Networks참고 문헌 45인용 수 46

한 줄 요약

GBP는 지역화된 양방향 전파를 갖춘 확장 가능한 GNN을 도입하여 사전 계산 및 학습에 대해 부분 선형 시간 복잡도를 산출하고, 단일 머신에서 수십억 엣지 그래프에서 효과적인 학습을 가능하게 한다.

ABSTRACT

Graph Neural Networks (GNN) is an emerging field for learning on non-Euclidean data. Recently, there has been increased interest in designing GNN that scales to large graphs. Most existing methods use "graph sampling" or "layer-wise sampling" techniques to reduce training time. However, these methods still suffer from degrading performance and scalability problems when applying to graphs with billions of edges. This paper presents GBP, a scalable GNN that utilizes a localized bidirectional propagation process from both the feature vectors and the training/testing nodes. Theoretical analysis shows that GBP is the first method that achieves sub-linear time complexity for both the precomputation and the training phases. An extensive empirical study demonstrates that GBP achieves state-of-the-art performance with significantly less training/testing time. Most notably, GBP can deliver superior performance on a graph with over 60 million nodes and 1.8 billion edges in less than half an hour on a single machine. The codes of GBP can be found at https://github.com/chennnM/GBP .

연구 동기 및 목표

• 수십억 개의 엣지를 가진 그래프를 다룰 수 있는 확장 가능한 GNN에 대한 동기를 제시한다.
• 특징 전파를 신경망 학습으로부터 분리하는 전파 프레임워크를 개발한다.
• 정확도를 유지하면서 사전 계산 및 학습에 대한 부분 선형 시간 복잡도를 달성한다.
• 작은 그래프부터 수십억 규모 그래프에 이르는 경험적 증거를 제공하여 성능 및 효율성 향상을 보여준다.

제안 방법

• 다중 홉 확산과 특징 전파를 결합하는 일반화된 PageRank 전파 행렬 P를 정의한다.
• 학습 노드에서의 몬테카를로와 특징에서의 결정론적 Reverse Push를 결합한 양방향 전파 접근법을 통해 P를 계산한다.
• P를 고정된 전파 행렬로 사용하여 P 위에 신경망의 표준 미니배치 학습을 가능하게 한다.
• 적절한 설정에서 P의 추정기가 편향되지 않고 시간에 대해 부분 선형임을 보인다.
• 가중치 수열 w_ell와 확산 매개변수 r을 조정하여 GBP가 다양한 그래프 합성곱을 모방할 수 있음을 보여준다.
• 양방향 전파를 효율적으로 달성하는 실용적이고 병렬 가능 알고리즘(Algorithm 1)을 제안한다.

실험 결과

연구 질문

• RQ1 로컬화된 양방향 전파 프레임워크가 GNN에서 사전 계산 및 학습에 대해 부분 선형 시간 복잡도를 산출할 수 있는가?
• RQ2 특징 전파를 신경망 학습으로부터 분리하는 것이 대규모 그래프에서 반지도 학습 및 지도 학습 작업에 어떤 영향을 미치는가?
• RQ3 GBP가 다양한 벤치마크에서 최첨단 또는 경쟁력 있는 확장 가능한 GNN과 견줄 수 있거나 능가하는 정도는 어느 정도이며 시간은 줄일 수 있는가?
• RQ4 단일 머신에서 수십억 엣지 그래프까지 확장할 수 있으며 예측 성능을 희생하지 않는가?

주요 결과

• 이론적으로 GBP는 사전 계산 및 학습에 대해 부분 선형 시간 복잡도를 달성한다.
• GBP는 다수의 데이터셋에서 현저히 감소된 학습/테스트 시간으로 최첨단 또는 경쟁력 있는 성능을 제공한다.
• 노드 6천만 넘고 엣지 18억인 그래프에서 GBP는 단일 기계에서 30분도 채 안 되어 실행된다.
• 대규모 그래프의 유도 학습에서 GBP는 GraphSAINT와 비슷한 정확도를 5~10배 빠른 실행 시간으로 달성한다.
• 수십억 규모의 Friendster에서 무작위 특징으로도 강력한 성능을 보여주며 그래프 구조를 포착하는 능력을 강조한다.