[논문 리뷰] GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs

Yuke Wang, Boyuan Feng외 5명|arXiv (Cornell University)|2020. 06. 11.

Advanced Graph Neural Networks인용 수 16

한 줄 요약

GNNAdvisor는 그래프 구조와 임bedding 차원 수와 같은 실시간 입력 특성에 기반해 동적으로 그래프 신경망(GNN) 워크로드를 최적화하는 GPU 런타임 시스템이다. 적응형 2차원 워크로드 관리, GPU 메모리 계층 구조 인식 실행, 커널 파ram터 조정을 위한 분석 모델을 활용하여, 최신 프레임워크인 NeuGraph 대비 최대 4.10배의 성능 향상을 달성했으며, DGL 대비 평균 3.02배의 성능 향상을 보였다.

ABSTRACT

As the emerging trend of graph-based deep learning, Graph Neural Networks (GNNs) excel for their capability to generate high-quality node feature vectors (embeddings). However, the existing one-size-fits-all GNN implementations are insufficient to catch up with the evolving GNN architectures, the ever-increasing graph sizes, and the diverse node embedding dimensionalities. To this end, we propose extbf{GNNAdvisor}, an adaptive and efficient runtime system to accelerate various GNN workloads on GPU platforms. First, GNNAdvisor explores and identifies several performance-relevant features from both the GNN model and the input graph, and uses them as a new driving force for GNN acceleration. Second, GNNAdvisor implements a novel and highly-efficient 2D workload management, tailored for GNN computation to improve GPU utilization and performance under different application settings. Third, GNNAdvisor capitalizes on the GPU memory hierarchy for acceleration by gracefully coordinating the execution of GNNs according to the characteristics of the GPU memory structure and GNN workloads. Furthermore, to enable automatic runtime optimization, GNNAdvisor incorporates a lightweight analytical model for an effective design parameter search. Extensive experiments show that GNNAdvisor outperforms the state-of-the-art GNN computing frameworks, such as Deep Graph Library ($3.02 imes$ faster on average) and NeuGraph (up to $4.10 imes$ faster), on mainstream GNN architectures across various datasets.

연구 동기 및 목표

• GPU에서 다양한 GNN 아키텍처와 그래프 워크로드에 대해 통합 최적화 프레임워크의 성능 한계를 해결하기 위해.
• 노드의 차수와 임베딩 크기와 같은 런타임 특성을 노출하여 시스템 수준의 결정을 이끄는 동적이고 입력 인식 최적화를 가능하게 하기 위해.
• 신규 2차원 워크로드 관리 및 GPU 메모리 계층 구조 협업을 통해 GPU 활용도를 향상시키고 메모리 액세스 오버헤드를 감소시키기 위해.
• 수동 조정 없이 효율적인 커널 파ram터 검색을 위한 자동화되고 경량화된 분석 모델을 제공하기 위해.
• 다양한 GPU, GNN 모델, 그래프 데이터셋 간의 확장성과 적응 가능성에 대한 성능을 입증하기 위해.

제안 방법

• GNNAdvisor는 런타임 시점에 GNN 모델(예: 레이어 수, 히든 차원 수)과 입력 그래프(예: 노드 차수 분포)로부터 성능 관련 특징을 추출한다.
• 이 시스템은 이웃 분할과 워프 정렬 기반으로 GPU 스레드 블록에 GNN 계산을 매핑하는 2차원 워크로드 관리 전략을 구현한다.
• 워프 인식 공유 메모리 커스터마이제이션을 통해 전역 메모리 액세스를 줄인다.
• 입력 특성에 기반해 최적의 커널 파ram터(예: 스레드 블록 크기, 이웃 그룹 크기)를 예측하는 경량 분석 모델을 통합한다.
• 프로그래머빌리티를 위해 PyTorch를 프론트엔드로 활용하면서도, 저수준 최적화는 커스텀 런타임 레이어로 이관한다.
• 집합 단계에서의 비정규 메모리 액세스를 줄이고 메모리 코ales싱을 향상시키기 위해 커뮤니티 인식 노드 재번호 할당을 적용한다.

실험 결과

연구 질문

• RQ1 노드 차수와 임bed딩 차원 수와 같은 런타임 입력 특성이 시스템 수준의 GNN 최적화를 이끄는 데 사용될 수 있는가?
• RQ2 GPU에서의 2차원 워크로드 매핑은 어떻게 설계되어야 비정규적 원자 연산을 최소화하고 워프 수준의 할당율을 향상시킬 수 있는가?
• RQ3 GPU 메모리 계층 구조 인식은 비정규적 GNN 워크로드에서 성능 향상에 얼마나 기여하는가?
• RQ4 분석 모델은 다양한 GNN 아키텍처와 데이터셋 간에 최적의 커널 파ram터를 효과적으로 예측할 수 있는가?
• RQ5 GNNAdvisor는 V100 및 P6000와 같은 다양한 GPU 하드웨어 플랫폼에서 어떻게 확장되는가?

주요 결과

• GNNAdvisor는 여러 GNN 모델과 데이터셋에서 DGL 3.02× 평균 3.02배의 성능 향상을 달성했다.
• 가장 도전적인 GNN 워크로드에서 NeuGraph 대비 최대 4.10배의 성능 향상을 기록하여 뛰어난 최적화 적응성을 입증했다.
• 워프 정렬 스레드 매핑과 공유 메모리 최적화를 통해 비정규적 메모리 액세스를 평균 47.85%와 57.93% 감소시켰다.
• 커뮤니티 인식 노드 재번호 할당은 평균 4.00%의 오버헤드만 추가했으며, 반복적인 GNN 실행 동안 이는 분산되어 실용적인 활용이 가능했다.
• Tesla V100에서 GNNAdvisor는 GCN과 GIN에 대해 각각 P6000 대비 1.97배와 1.86배의 성능 향상을 달성했으며, 이는 더 높은 계산 및 메모리 대역폭 활용 덕분이었다.
• 분석 모델은 다양한 설정(다른 모델, 데이터셋, GPU 포함)에서 최적의 커널 파ram터를 성공적으로 식별하여 자동 조정의 효과성을 입증했다.