[논문 리뷰] A Survey on Graph Neural Network Acceleration: Algorithms, Systems, and Customized Hardware

Shichang Zhang, Atefeh Sohrabizadeh외 8명|arXiv (Cornell University)|2023. 06. 24.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 조사/개관은 알고리즘, COTS 시스템, 맞춤형 하드웨어의 세 가지 범주에 걸친 GNN 가속의 통합 분류체계를 제시하며, 학습 및 추론 가속 기술을 검토하고 향후 방향을 논의한다.

ABSTRACT

Graph neural networks (GNNs) are emerging for machine learning research on graph-structured data. GNNs achieve state-of-the-art performance on many tasks, but they face scalability challenges when it comes to real-world applications that have numerous data and strict latency requirements. Many studies have been conducted on how to accelerate GNNs in an effort to address these challenges. These acceleration techniques touch on various aspects of the GNN pipeline, from smart training and inference algorithms to efficient systems and customized hardware. As the amount of research on GNN acceleration has grown rapidly, there lacks a systematic treatment to provide a unified view and address the complexity of relevant works. In this survey, we provide a taxonomy of GNN acceleration, review the existing approaches, and suggest future research directions. Our taxonomic treatment of GNN acceleration connects the existing works and sets the stage for further development in this area.

연구 동기 및 목표

• 레이턴시 제약이 있는 대형 그래프에서 GNN의 확장성 문제를 다루어 연구의 동기를 부여한다.
• GNN 가속 기법에 대한 통합 분류 체계를 제공한다.
• GNN 가속을 위한 기존의 알고리즘, 시스템 및 하드웨어 접근법을 검토한다.
• GNN 가속의 한계, 적용 가능성 및 향후 연구 방향을 논의한다.

제안 방법

• GNN 가속의 세 가지 범주 분류: 알고리즘, COTS 시스템, 맞춤형 하드웨어를 제안한다.
• 그래프를 수정하거나 계산을 샘플링하여 계산 그래프를 줄이는 학습 가속 방법을 검토한다.
• 가지치기(pruning), 양자화(quantization), 증류(distillation) 등 추론 가속 기법을 고찰한다.
• 목표 하드웨어를 위한 희소 커널 가속 및 코드 생성과 같은 COTS 시스템 최적화를 논의한다.
• 다양한 수준의 레이어 커스터마이즈와 희소성 지원을 포함하는 가속기 등 맞춤형 하드웨어 설계를 고찰한다.
• 특수 이질적 및 동적 그래프에 대한 가속화를 다룬다.

Figure 1. A taxonomy of GNN acceleration. Specifically, we discuss training algorithms in Section 3 , inference algorithms in Section 4 , COTS systems in Section 5 , customized hardware in Section 6 , and special graphs and GNNs in Section 7 .

실험 결과

연구 질문

• RQ1 학습 및 추론에서 GNN을 가속하는 기존 접근 방식은 무엇인가?
• RQ2 그래프 수정 및 샘플링 전략이 GNN 학습에서 계산 그래프와 지연 시간을 어떻게 줄이는가?
• RQ3 GNN 가속에서 COTS 시스템과 맞춤형 하드웨어의 역할과 트레이드오프는 무엇인가?
• RQ4 이질적이거나 동적 그래프 맥락에서 어떤 특별한 고려사항이 GNN 가속에 제기되는가?

주요 결과

• 본 조사는 알고리즘, COTS 시스템, 맞춤형 하드웨어로 기술 기법을 분류하여 GNN 가속에 대한 통일된 관점을 제공한다.
• 그래프 수정(coarsening, sparsification, condensation)과 샘플링을 통한 학습 가속을 자세히 설명한다.
• 가지치기(pruning), 양자화(quantization), 및 증류(distillation)와 같은 추론 가속 방법을 다룬다.
• 희소 행렬 연산을 위한 GPU 커널 가속 및 대상 하드웨어용 코드 생성과 같은 COTS 시스템 최적화를 논의한다.
• 다양한 유연성 수준과 희소성 지원을 갖춘 가속기 및 FPGA를 포함한 맞춤형 하드웨어 설계를 조사한다.
• 가속 연구에서 특수 이질 및 동적 그래프를 고려할 필요성을 강조하고 향후 방향을 제시한다.

Figure 2. Illustration of graph modification methods: Graph Coarsening methods perform graph clustering and merge clusters of nodes into a super-node. Graph Sparsification methods remove less important edges. Graph Condensation methods generate a new condensed graph using a randomly initialized gene