[논문 리뷰] A Distributed Multi-GPU System for Large-Scale Node Embedding at Tencent

Wanjing Wei, Yangzihao Wang외 3명|arXiv (Cornell University)|2020. 05. 28.

Caching and Content Delivery참고 문헌 27인용 수 10

한 줄 요약

이 논문은 상용 GPU 클러스터를 활용해 대규모 노드 임베딩을 효율적으로 스케일링할 수 있도록 모델 병렬성과 데이터 병렬성을 결합한 고성능 분산 다중 GPU 시스템을 제안한다. 계층적 데이터 분할, 파이프라인 트레이닝, 그리고 임베딩 학습 단계와 무작위 보행 생성 단계를 분리함으로써, 상태의 기술에 비해 5.9배에서 14.4배의 속도 향상을 달성하면서도 경쟁 가능한 정확도를 유지한다. 40개의 V100 GPU를 사용하여 3000억 개의 에지로 구성된 네트워크에서 한 에포크의 학습을 단 3분 만에 완료한다.

ABSTRACT

Real-world node embedding applications often contain hundreds of billions of edges with high-dimension node features. Scaling node embedding systems to efficiently support these applications remains a challenging problem. In this paper we present a high-performance multi-GPU node embedding system. It uses model parallelism to split node embeddings onto each GPU's local parameter server, and data parallelism to train these embeddings on different edge samples in parallel. We propose a hierarchical data partitioning strategy and an embedding training pipeline to optimize both communication and memory usage on a GPU cluster. With the decoupled design of CPU tasks (random walk) and GPU tasks (embedding training), our system is highly flexible and can fully utilize all computing resources on a GPU cluster. Comparing with the current state-of-the-art multi-GPU single-node embedding system, our system achieves 5.9x-14.4x speedup on average with competitive or better accuracy on open datasets. Using 40 NVIDIA V100 GPUs on a network with almost three hundred billion edges and more than one billion nodes, our implementation requires only 3 minutes to finish one training epoch.

연구 동기 및 목표

• 상용 GPU 클러스터를 활용해 수십억 노드, 수조 개의 에지로 구성된 네트워크에 대한 노드 임베딩 학습을 스케일링하는 데 도전한다.
• 기존 시스템이 다중 GPU 확장성 부족 또는 GPU 메모리 및 통신 대역폭의 효율적 활용에 실패하는 한계를 극복한다.
• 무작위 보행 기반 네트워크 증강과 임베딩 학습을 분리하여 각 단계를 별도로 최적화할 수 있는 시스템을 설계한다.
• 대규모 노드 임베딩을 위한 분산 다중 GPU 학습에서 고성능과 효율적인 통신 오버랩을 달성한다.
• 실제 세계 및 개방형 벤치마크 데이터셋에서 높은 성능과 경쟁 가능한 정확도를 제공한다.

제안 방법

• 시스템은 모델 병렬성과 데이터 병렬성을 융합한 방식을 사용한다: 노드 임베딩은 모델 병렬성을 통해 GPU 간에 분할되고, 학습 샘플은 데이터 병렬성을 통해 GPU에 분산된다.
• GPU 클러스터 간의 통신 오버헤드를 최소화하고 데이터 국소성을 향상시키기 위해 계층적 데이터 분할 전략을 제안한다.
• 계산과 통신을 오버랩하여 GPU 활용도와 대역폭을 극대화하기 위해 파이프라인 트레이닝 파이프라인을 구현한다.
• CPU 기반의 무작위 보행 생성과 GPU 기반의 임베딩 학습을 분리함으로써 각 단계를 별도로 최적화할 수 있다.
• 로컬 및 원격 파라미터 서버를 모두 지원하며, 커널 실행 오버헤드를 줄이기 위해 효율적인 임베딩 검색 및 업데이트 연산을 사용한다.
• 네트워크 전송을 줄이고 학습 효율을 향상시키기 위해 부정적 샘플링 전략을 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 상용 GPU 클러스터를 기반으로 하여 수백억 개의 에지를 가진 대규모 노드 임베딩 작업을 효율적으로 확장할 수 있는가?
• RQ2 다중 GPU 노드 임베딩 시스템에서 고성능 통신과 메모리 활용을 달성하는 데 필요한 설계 패턴은 무엇인가?
• RQ3 무작위 보행 생성과 임베딩 학습을 어떻게 분리하여 자원 활용도를 높이고 각 단계를 독립적으로 최적화할 수 있는가?
• RQ4 파이프라인 트레이닝과 계층적 데이터 분할 전략이 대규모 그래프에서 처리량을 향상시키고 학습 시간을 단축시키는 데 얼마나 기여하는가?
• RQ5 상용 GPU 클러스터 기반의 시스템이 기존 최첨단 다중 GPU 프레임워크에 비해 성능과 정확도 면에서 뛰어나게 성능을 낼 수 있는가?

주요 결과

• 시스템은 개방형 데이터셋에서 현재 최첨단 다중 GPU 단일 노드 임베딩 시스템 대비 평균 5.9배에서 14.4배의 속도 향상을 달성한다.
• 약 3000억 개의 에지와 10억 개 이상의 노드를 가진 네트워크에서, 40개의 NVIDIA V100 GPU를 사용하여 한 에포크의 학습을 단 3분 만에 완료한다.
• 표준 개방형 벤치마크 데이터셋에서 기준 모델 대비 경쟁적 또는 더 높은 정확도를 유지한다.
• 파이프라인 트레이닝 전략은 계산과 통신을 효과적으로 오버랩하여 GPU 활용도와 시스템 처리량을 크게 향상시킨다.
• 계층적 데이터 분할은 통신 오버헤드를 감소시키고 데이터 국소성을 향상시켜 GPU 클러스터 간의 효율적 확장성을 가능하게 한다.
• 분리된 아키텍처는 무작위 보행 생성과 임베딩 학습을 별도로 최적화할 수 있도록 하여 시스템의 유연성과 성능을 향상시킨다.