[논문 리뷰] Survey on Graph Neural Network Acceleration: An Algorithmic Perspective

Xin Liu, Mingyu Yan외 6명|arXiv (Cornell University)|2022. 02. 10.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 종합적 서베이는 그래프 신경망(GNN) 가속화에 대한 체계적인 알고리즘적 시각을 제시하며, 최적화 요소와 핵심 메커니즘을 기반으로 한 새로운 다섯 가지 카테고리로 분류하는 분류 체계를 도입한다. 그래프 수준 및 모델 수준 최적화—예를 들어 샘플링, 희소화, 분할, 단순화 및 압축—를 체계적으로 검토하며, 이들의 효율성, 상충 관계 및 상호 보완성을 강조하고, 동적 그래프 지원, 하드웨어 우호적 알고리즘, 알고리즘-하드웨어 공동 설계 분야의 미래 연구 방향을 규명한다.

ABSTRACT

Graph neural networks (GNNs) have been a hot spot of recent research and are widely utilized in diverse applications. However, with the use of huger data and deeper models, an urgent demand is unsurprisingly made to accelerate GNNs for more efficient execution. In this paper, we provide a comprehensive survey on acceleration methods for GNNs from an algorithmic perspective. We first present a new taxonomy to classify existing acceleration methods into five categories. Based on the classification, we systematically discuss these methods and highlight their correlations. Next, we provide comparisons from aspects of the efficiency and characteristics of these methods. Finally, we suggest some promising prospects for future research.

연구 동기 및 목표

• 증가하는 그래프 규모와 모델 깊이로 인해 GNN 실행의 효율성이 급증하는 필요성 해결.
• 기존 알고리즘적 가속화 방법을 새로운 다섯 가지 카테고리 분류 체계로 체계적으로 분류.
• 학습 및 추론 환경에서 가속 기법의 효율성, 특성 및 상호 관계 비교.
• 특히 동적 그래프 및 하드웨어 공통 설계 분야에서 GNN 가속화의 주요 과제와 미래 연구 방향 규명.
• 알고리즘 최적화와 하드웨어 인지 설계 간 격차를 해소하여 GNN 프레임워크 성능 향상.

제안 방법

• 최적화 요소(예: 계산, 메모리, 통신)와 핵심 메커니즘(예: 샘플링, 희소화, 분할)을 기반으로 한 이중 수준 분류 체계 제안.
• 샘플링, 희소화, 분할, 단순화 및 압축의 다섯 가지 알고리즘 가속 기법을 검토 및 분석하며, 이들의 기초 원리와 설계 목표에 중점을 둔다.
• 핵심 메트릭 기반 평가: 계산 비용(Compt.), 메모리 액세스(Mem.), 통신 비용(Com.), 특히 분산 또는 엣지 환경에서의 성능.
• 기법 간 상관관계 강조, 예를 들어 희소화가 메모리 액세스를 줄이고 샘플링이 계산 비용을 감소시키며, 이들이 조합될 수 있음을 설명.
• 하드웨어 특성과 일치하는 하드웨어 인지 최적화 전략 제안, 예를 들어 로컬리티 기반 샘플링.
• 알고리즘-하드웨어 공동 설계를 주장하며, GraphDynS와 같은 그래프 처리 시스템의 통찰을 바탕으로 GNN 실행 의미 체계와 하드웨어 데이터패스를 공동 최적화하는 데 기반을 마련.

실험 결과

연구 질문

• RQ1 기존 알고리즘적 GNN 가속화 방법을 최적화 대상과 메커니즘 기반으로 체계적으로 분류할 수 있는가?
• RQ2 계산, 메모리, 통신 비용 측면에서 다양한 GNN 가속 기법의 주요 상충 관계와 성능 특성은 무엇인가?
• RQ3 샘플링, 희소화, 분할, 단순화 및 압축 기법은 설계 원리와 성능 결과 측면에서 어떻게 상호 연관되어 있는가?
• RQ4 동적 그래프에서 GNN을 가속화하는 데 있어 주요 과제는 무엇이며, 기존 기법은 어떻게 동적 구조 및 특성 지원을 위해 확장될 수 있는가?
• RQ5 알고리즘 설계는 하드웨어 특성과 어떻게 일치시켜야 하며, 알고리즘과 하드웨어 간 공동 설계가 향후 GNN 가속화에서 어떤 역할을 하는가?

주요 결과

• 제안된 다섯 가지 카테고리 분류 체계—샘플링, 희소화, 분할, 단순화 및 압축—은 GNN 가속화 기법의 통합적 분류 및 비교를 위한 프레임워크를 제공한다.
• AS-GCN 및 GraphSAINT과 같은 샘플링 기법은 대표적 이웃을 선택함으로써 계산 비용을 줄여, 통제된 분산 범위 내에서 높은 속도 향상을 달성한다.
• NeuralSparse와 같은 희소화 기법은 작업에 부적합한 간선을 제거함으로써 메모리 액세스를 감소시키고 암묵적 노이즈 제거를 통해 일반화 성능을 향상시킨다.
• 분할 기법은 교차 파artition 간선을 최소화하고 장치 간 로드 밸런싱을 가능하게 하여 분산 환경에서의 통신 효율성을 향상시킨다.
• KD-GCN과 같은 압축 기법은 가상 간선 삽입을 통해 동적 그래프에 대한 지식 증류를 확장하여 효율적인 모델 증류를 가능하게 한다.
• 미래 연구는 하드웨어 우호적 알고리즘 설계와 알고리즘-하드웨어 공동 설계를 우선시해야 하며, 현재 기법들은 종종 저수준 하드웨어 특성을 간과하고 있으며, 특히 동적 그래프 환경에서 더욱 그렇다.