[논문 리뷰] MGG: Accelerating Graph Neural Networks with Fine-grained intra-kernel Communication-Computation Pipelining on Multi-GPU Platforms

Yuke Wang, Boyuan Feng외 5명|arXiv (Cornell University)|2022. 09. 14.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

MGG는 다중 GPU 그래프 신경망(GNN)을 위한 정교한 내핵 간 통신-계산 파이프라인화 시스템을 제안한다. 이는 GNN에 특화된 파이프라인 구축과 GPU 인지적 매핑을 활용하여 통신과 계산을 겹치도록 한다. ROC와 같은 최신 시스템 대비 최대 10.83배의 성능 향상을 달성하며, 파이프라인 구성 설정을 동적으로 최적화하고 다중 GPU 간 통신 병목 현상을 줄여 전체 그래프 GNN 추론 속도를 크게 향상시킨다.

ABSTRACT

The increasing size of input graphs for graph neural networks (GNNs) highlights the demand for using multi-GPU platforms. However, existing multi-GPU GNN systems optimize the computation and communication individually based on the conventional practice of scaling dense DNNs. For irregularly sparse and fine-grained GNN workloads, such solutions miss the opportunity to jointly schedule/optimize the computation and communication operations for high-performance delivery. To this end, we propose MGG, a novel system design to accelerate full-graph GNNs on multi-GPU platforms. The core of MGG is its novel dynamic software pipeline to facilitate fine-grained computation-communication overlapping within a GPU kernel. Specifically, MGG introduces GNN-tailored pipeline construction and GPU-aware pipeline mapping to facilitate workload balancing and operation overlapping. MGG also incorporates an intelligent runtime design with analytical modeling and optimization heuristics to dynamically improve the execution performance. Extensive evaluation reveals that MGG outperforms state-of-the-art full-graph GNN systems across various settings: on average 4.41X, 4.81X, and 10.83X faster than DGL, MGG-UVM, and ROC, respectively.

연구 동기 및 목표

• 비정규적이고 희박하며 정교한 다중 GPU 간 통신으로 인한 다중 GPU GNN의 성능 병목을 해결하기 위해.
• 기존 시스템이 계산과 통신을 별도로 최적화해 협업 스케줄링 기회를 놓치는 한계를 극복하기 위해.
• GPU 커널 내부에서 통신과 계산을 동적으로 겹쳐 최고 성능의 GNN 실행을 가능하게 하기 위해.
• 지능적인 런타임 최적화를 통해 다양한 GNN 워크로드와 GPU 하드웨어 구성에 적응할 수 있는 시스템 설계를 위해.
• 효율적이고 저비용의 통신 프리미티브를 활용해 GNN을 초월한 다른 딥러닝 워크로드로의 일반화를 위해.

제안 방법

• MGG는 단일 GPU 커널 내부에서 통신과 계산을 정교하게 겹치는 동적 소프트웨어 파이프라인을 도입한다.
• 데이터 접근 패턴에 기반해 거대한 GNN 연산을 정교한, 상호 겹치는 단계로 분해하는 GNN에 특화된 파이프라인 구축 기법을 적용한다.
• GPU 인지적 파이프라인 매핑을 사용해 GPU 점유율을 극대화하고 지연을 최소화하는 최적의 스레드, 워프, 블록 구성 설정을 선택한다.
• NVSHMEM 기반의 통신 프리미티브를 통합해 다중 GPU 간 저지연, 정교한 원격 메모리 접근을 지원한다.
• 분석적 모델링과 최적화 히우리스틱을 사용하는 지능적인 런타임 엔진이 파이프라인 파라미터(예: 교차 거리, 워프-블록 매핑)를 동적으로 튜닝한다.
• 통신 및 워크로드 패턴의 변화에 대응하기 위해 국지성 기반, 워크로드 기반, 학습 기반의 다수의 그래프 분할 전략을 지원한다.

실험 결과

연구 질문

• RQ1 비정규적이고 희박한 GNN 워크로드에서 통신과 계산을 겹치기 위해 정교한 내핵 파이프라인화를 어떻게 효과적으로 구성할 수 있는가?
• RQ2 다중 GPU 플랫폼에서 GNN 성능을 극대화하기 위해 최적의 파이프라인 구성과 GPU 매핑 전략는 무엇인가?
• RQ3 시스템은 어떻게 다양한 그래프 구조와 하드웨어 구성에 동적으로 적응하여 높은 성능을 유지할 수 있는가?
• RQ4 파이프라인 파라미터의 지능적인 런타임 튜닝을 통해 통신 오버헤드를 어느 정도 감소시킬 수 있는가?
• RQ5 제안된 파이프라인화 기법은 GNN을 초월한 다른 딥러닝 워크로드로 일반화될 수 있는가?

주요 결과

• MGG는 다양한 GNN 워크로드에서 DGL 대비 평균 4.41배, MGG-UVM 대비 4.81배, ROC 대비 최대 10.83배의 성능 향상을 달성한다.
• Criteo Kaggle 데이터셋에서 MGG는 DLRM의 임베딩 룩업 시간을 315.27ms에서 119.66ms로 단축해 2.64배 향상시켰다.
• NCCL에 의존하지 않고 GPU가 주도하는 정교한 원격 메모리 접근을 통해 불필요한 다중 GPU 트래픽을 효과적으로 줄였다.
• 분석적 모델링을 통한 런타임 최적화로 워크로드 및 하드웨어 특성에 동적으로 적응하여 파이프라인 효율성을 향상시켰다.
• DL 워크로드로의 일반화가 잘 이루어졌으며, DLRM에 성공적으로 통합되어 뚜렷한 성능 향상을 보였다.
• NVSHMEM 프리미티브의 사용으로 저지연, 확장 가능한 통신이 가능해져 다중 GPU 간 효율적인 파이프라인화를 지원한다.