[논문 리뷰] Distributed Training of Graph Convolutional Networks using Subgraph Approximation

Alexandra Angerd, Keshav Balasubramanian외 1명|arXiv (Cornell University)|2020. 12. 09.

Advanced Graph Neural Networks참고 문헌 21인용 수 5

한 줄 요약

이 논문은 분산 GCN 학습을 위한 부분그래프 근사 기법을 제안하며, 다른 파artition으로부터 근사된 이웃 정보를 겹치게 하여 통신 오버헤드를 줄이고 정확도를 향상시킨다. 이 방법은 낮은 메모리 사용량과 최소한의 동기화로 단일 머신 성능에 도달하며, 대규모 그래프에서 확장 가능한 학습을 가능하게 한다.

ABSTRACT

Modern machine learning techniques are successfully being adapted to data modeled as graphs. However, many real-world graphs are typically very large and do not fit in memory, often making the problem of training machine learning models on them intractable. Distributed training has been successfully employed to alleviate memory problems and speed up training in machine learning domains in which the input data is assumed to be independently identical distributed (i.i.d). However, distributing the training of non i.i.d data such as graphs that are used as training inputs in Graph Convolutional Networks (GCNs) causes accuracy problems since information is lost at the graph partitioning boundaries. In this paper, we propose a training strategy that mitigates the lost information across multiple partitions of a graph through a subgraph approximation scheme. Our proposed approach augments each sub-graph with a small amount of edge and vertex information that is approximated from all other sub-graphs. The subgraph approximation approach helps the distributed training system converge at single-machine accuracy, while keeping the memory footprint low and minimizing synchronization overhead between the machines.

연구 동기 및 목표

• 그래프 분할 경계를 넘어서 정보 손실이 발생하면서 발생하는 분산 GCN 학습에서의 정확도 저하 문제를 해결하기 위해.
• 모델 성능을 희생시키지 않고 분산 GCN 학습에서의 통신 오버헤드를 줄이기 위해.
• 제한된 메모리 환경의 머신을 사용하여 대규모 그래프에서 확장 가능하고 메모리 효율적인 GCN 학습을 가능하게 하기 위해.
• 분산 환경에서 단일 머신 학습과 유사한 수준의 수렴 정확도를 달성하기 위해.

제안 방법

• 큰 그래프를 부분그래프로 분할하고, 각 로컬 부분그래프에 이웃한 부분그래프들로부터 근사된 정점 및 간선 정보를 추가하는 부분그래프 근사 기법을 도입한다.
• 근사된 정보에는 비로컬 파artition의 이웃 정점과 간선이 포함되며, 통신을 줄이기 위해 경량 집계 방법을 사용하여 계산된다.
• 분할 경계를 넘는 중요한 장거리 종속성을 유지하기 위해 부분그래프 간에 소규모이고 제어 가능한 겹침(겹침 요소 <1.2)을 도입한다.
• 메시지 전파 과정에서 GCN 레이어에 근사 정보를 적용함으로써, 각 정점은 전체 그래프 탐색 없이도 먼 이웃으로부터 관련 정보를 수신할 수 있도록 보장한다.
• 각 정점의 로컬 부분그래프 크기를 제한함으로써 각 머신의 메모리 사용량을 낮추면서도, 전략적인 정보 전파를 통해 모델 정확도를 유지한다.
• 이 방법은 두 가지 GCN 아키텍처(KW-GCN 및 GraphSAGE)와 두 가지 데이터셋(Reddit 및 Amazon2M)에서 평가되었으며, 높은 정확도와 빠른 수렴을 보였다.

실험 결과

연구 질문

• RQ1 분산 GCN 학습이 통신 오버헤드를 최소화하면서도 단일 머신 학습 수준의 정확도를 달성할 수 있는가?
• RQ2 부분그래프 근사 기법이 대규모 그래프 학습에서 수렴 속도와 모델 정확도에 어떤 영향을 미치는가?
• RQ3 정확도와 통신 비용을 균형 잡는 데 최적의 부분그래프 겹침 수준는 무엇인가?
• RQ4 기존의 분산 GNN 프레임워크와 비교했을 때, 제안된 방법은 확장성과 성능 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 5台의 머신을 사용한 분산 학습에서도 Reddit 데이터셋에서 94.94%의 정확도를 달성하여 단일 머신 학습과 동일한 성능을 보였다.
• 분할을 넘는 간선 정보를 무시할 경우 정확도가 89.95%로 크게 떨어졌으며, 이는 통신 손실이 미치는 결정적 영향을 입증한다.
• 단지 2%의 부분그래프 겹침만으로도 ClusterGCN(최첨단 단일 머신 기준)과 동일한 에포크 수 내에 수렴을 달성했다.
• 같은 프레임워크에서 구현했을 때, 분산 방식의 시간 복잡도가 ClusterGCN보다 낮아졌으며, 이는 에포크당 계산량이 감소했기 때문이다.
• 소량의 비로컬 정점 추가로 초점적인 초선형 정확도 향상이 이루어졌으며, 특히 평균 차수 100.03인 Reddit와 같은 고차수 그래프에서 두드러졌다.
• 이 방법은 각 머신의 메모리 사용량을 낮게 유지하면서도, 주 메모리에 들어가지 않는 대규모 그래프에 효과적으로 스케일링되었다.