[논문 리뷰] GNNAdvisor: An Efficient Runtime System for GNN Acceleration on GPUs.

Yuke Wang, Boyuan Feng외 5명|arXiv (Cornell University)|2020. 06. 11.

Advanced Graph Neural Networks인용 수 16

한 줄 요약

GNNAvisor는 그래프 구조적 특성(예: 커뮤니티)을 활용하고, 그룹 기반 워크로드 관리 전략을 적용하며, GPU 메모리 계층 구조를 최적화함으로써 그래프 신경망(GNNs)을 가속화하는 GPU 런타임 시스템이다. 다양한 GNN 아키텍처와 데이터셋에서 자동 성능 튜닝이 가능한 모델링 및 추정 전략을 통해 기존 최첨단 프레임워크인 GunRock 대비 최대 52.16배의 성능 향상을 달성한다.

ABSTRACT

As the emerging trend of the graph-based deep learning, Graph Neural Networks (GNNs) recently attract a significant amount of research attention from various domains. However, existing GNN implementations fail to catch up with the evolving GNN architectures, ever-increasing graph size, and node embedding dimensionality, thus, suffering from an unsatisfied performance. To break this hurdle, we propose GNNAdvisor, an efficient runtime system to systematically accelerate GNN applications on GPUs. First, GNNAdvisor spots the graph structure information (e.g., graph community) as a new driving force to facilitate GNN acceleration. Besides, GNNAdvisor implements a novel yet highly-efficient group-based workload management tailored for GNN computation to improve the thread-level performance on GPUs. GNNAdvisor further capitalizes on the GPU memory hierarchy for acceleration by gracefully coordinating the execution of GNNs according to the characteristics of the GPU memory structure. Moreover, GNNAdvisor incorporates a Modeling & Estimating strategy to offer sufficient flexibility for automatic performance tunning across various GNN architectures and input datasets. Extensive experiments show that GNNAdvisor provides an average of 3.02x, 4.36x, and 52.16x speedup over the state-of-the-art GNN execution frameworks, Deep Graph Library (DGL), NeuGraph, and GunRock, respectively.

연구 동기 및 목표

• 진행 중인 GNN 프레임워크가 변화하는 GNN 아키텍처, 더 큰 그래프, 높은 임bedding 차원에 따라 스케일업에 실패하는 성능 저하 문제를 해결한다.
• 그래프의 내재적 구조적 특성(예: 그래프 커뮤니티 등)을 새로운 최적화 벡터로 활용하여 GPU에서 GNN 가속화를 실현한다.
• GPU 아키텍처에서 스레드 수준 성능을 향상시키기 위해 그룹 기반 워크로드 관리 전략을 설계한다.
• GNN 실행 패턴을 메모리 액세스 특성과 일치시켜 GPU 메모리 계층 구조의 활용도를 최적화한다.
• 모델링 및 추정 전략을 통해 다양한 GNN 모델과 데이터셋에서 자동 성능 튜닝을 가능하게 한다.

제안 방법

• 워크로드 분할 및 스케줄링 결정을 위한 지침으로 그래프 커뮤니티 및 기타 구조적 특징을 식별한다.
• GPU 점유율과 스레드 수준 병렬 처리를 향상시키는 그룹 기반 워크로드 관리 모델을 구현한다.
• GNN 계산을 GPU 메모리 계층 구조(예: 공유 메모리, 글로벌 메모리)와 조율하여 지연 시간을 최소화하고 대역폭 활용도를 극대화한다.
• 다양한 구성에서의 성능를 예측하는 프레임워크를 도입하여 자동 튜닝을 가능하게 한다.
• 입력 그래프 특성과 GNN 아키텍처에 동적으로 적응하는 통합된 런타임 시스템으로 모든 구성 요소를 통합한다.
• 수동 튜닝이 필요 없도록 프로파일링 및 추정 기법을 활용하여 구성 선택을 안내한다.

실험 결과

연구 질문

• RQ1 커뮤니티와 같은 그래프 구조 정보를 GPU에서 GNN 실행 성능 향상에 효과적으로 활용할 수 있는가?
• RQ2 그룹 기반 워크로드 관리 전략은 GNN 워크로드에서 스레드 수준 병렬 처리와 GPU 활용도를 어떻게 향상시킬 수 있는가?
• RQ3 GPU 메모리 계층 최적화는 GNN 추론 및 훈련에서 메모리 병목 현상을 어느 정도 감소시킬 수 있는가?
• RQ4 모델링 및 추정 전략을 통해 다양한 GNN 아키텍처와 데이터셋에서 자동 성능 튜닝이 가능한가?
• RQ5 통합적이고 구조 인식 기반의 GNN 런타임 시스템은 기존 프레임워크 대비 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• GNNAvisor는 다양한 GNN 워크로드에서 딥 그래프 라이브러리(DGL) 대비 평균 3.02배의 성능 향상을 달성한다.
• NeuGraph 대비 평균 4.36배의 성능 향상을 보이며, 다양한 GNN 아키텍처에 대한 우수한 최적화 능력을 입증한다.
• GunRock 대비 놀라운 평균 52.16배의 성능 향상을 달성하여, 메모리 및 스레드 최적화에서의 뛰어난 효과를 입증한다.
• 모델링 및 추정 전략을 통해 수동 설정 최소화로 자동 성능 튜닝이 가능해져 배포의 유연성이 향상된다.
• 그래프 구조 인식과 GPU 메모리 인식 기반 스케줄링의 통합은 실행 시간을 크게 감소시키고 자원 활용도를 향상시킨다.