[논문 리뷰] Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks

Peng Jiang, Masuma Akter Rumi|arXiv (Cornell University)|2021. 01. 19.

Advanced Graph Neural Networks참고 문헌 29인용 수 5

한 줄 요약

이 논문은 분산 GCN 학습에서 원격 노드의 특징 전송을 줄이기 위해 로컬 노드에 더 높은 샘플링 확률을 부여함으로써 통신 효율적인 이웃 샘플링 방법을 제안한다. 이 방법은 편향 없는 추정을 통해 모델 수렴을 유지하며, 실제 그래프에서 통신 오버헤드를 최대 5.2배까지 감소시켜 정확도 손실을 최소화한다.

ABSTRACT

Training Graph Convolutional Networks (GCNs) is expensive as it needs to aggregate data recursively from neighboring nodes. To reduce the computation overhead, previous works have proposed various neighbor sampling methods that estimate the aggregation result based on a small number of sampled neighbors. Although these methods have successfully accelerated the training, they mainly focus on the single-machine setting. As real-world graphs are large, training GCNs in distributed systems is desirable. However, we found that the existing neighbor sampling methods do not work well in a distributed setting. Specifically, a naive implementation may incur a huge amount of communication of feature vectors among different machines. To address this problem, we propose a communication-efficient neighbor sampling method in this work. Our main idea is to assign higher sampling probabilities to the local nodes so that remote nodes are accessed less frequently. We present an algorithm that determines the local sampling probabilities and makes sure our skewed neighbor sampling does not affect much the convergence of the training. Our experiments with node classification benchmarks show that our method significantly reduces the communication overhead for distributed GCN training with little accuracy loss.

연구 동기 및 목표

• 원격 이웃의 빈번한 특징 전송으로 인한 분산 GCN 학습에서의 높은 통신 오버헤드 문제를 해결하기 위해.
• 모델 수렴과 정확도를 유지하면서 상호 기계 간 통신을 최소화하는 이웃 샘플링 전략을 설계하기 위해.
• 기울기 추정에서 편향을 유발하지 않으면서도 로컬 노드를 우선시하는 샘플링 확률 체계를 개발하기 위해.
• 단일 머신 및 다중 머신 환경에서 실제 그래프를 대상으로 성능 및 정확도 기준을 바탕으로 방법을 검증하기 위해.

제안 방법

• 각 머신에 로컬로 저장된 노드에 더 높은 샘플링 확률을 할당하여 원격 특징 벡터를 확보할 필요를 줄인다.
• 이웃 선택 확률이 국지성에 비례하도록 기울어진 샘플링 분포를 사용하며, 이는 하이퍼파라미터 D로 제어된다.
• 역확률 가중치를 통해 샘플링을 보정하여 편향 없는 기울기 추정을 보장하고 학습 수렴을 유지한다.
• 통신 감소와 모델 정확도 사이의 균형을 고려해 로컬 샘플링 확률을 계산하는 알고리즘을 제안한다.
• 기존 GCN 프레임워크와 통합 가능하며, 단일 머신 및 다중 머신 분산 학습 모두를 지원한다.
• Cora, Citeseer, Reddit, YouTube, Amazon 그래프에서 노드 분류 벤치마크를 사용해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 분산 GCN 학습에서 이웃 샘플링을 어떻게 통신 효율적으로 만들 수 있을까? 이로 인해 모델 정확도가 손상되지 않도록 하기 위해.
• RQ2 상호 기계 간 특징 전송을 최소화하면서도 학습 수렴을 유지하는 최적의 샘플링 전략은 무엇일까?
• RQ3 로컬 노드를 우선시함으로써 통신 비용과 모델 성능 사이의 트레이드오프는 어떻게 영향을 받을까?
• RQ4 노드 국지성에 기반한 기울어진 샘플링 분포가 전체 통신 학습과 비교해 유사한 정확도를 달성할 수 있을까?

주요 결과

• Reddit 그래프에서 D=16일 때, 통신 시간은 3.5배 감소하고 통신 데이터 크기는 5.2배 감소했으며, 검증 정확도는 92.2%를 유지했다.
• YouTube 그래프에서 D=16일 때, 통신 시간은 6.7배 감소했고, 전체 통신 기반 베이스라인 대비 검증 정확도는 33.4%로 34.0%에 근접했다.
• 여덟 대의 머신을 사용한 Amazon 그래프에서, D=16일 때 메서드는 4.2배의 속도 향상을 달성했으며, 정확도는 79.29%를 유지했고, 전체 통신 버전은 79.31%였다.
• 중앙집중식 CPU 기반 특징 저장 방식은 분산 GPU 기반 방식보다 1.2배에서 13배 느렸으며, 이는 분산 특징 저장의 효율성을 입증했다.
• 로컬 집계만으로는 심각한 정확도 손실이 발생했다 (예: YouTube에서 28.5%), 이는 원격 이웃 접근의 중요성을 강조한다.
• Cora와 Citeseer에서 메서드의 수렴 속도는 전체 통신 버전과 거의 동일했으며, D=16일 때는 높은 분산으로 인해 약간의 지연이 있었다.