[논문 리뷰] AWB-GCN: A Graph Convolutional Network Accelerator with Runtime Workload Rebalancing

Tong Geng, Ang Li외 9명|arXiv (Cornell University)|2019. 08. 23.

Advanced Graph Neural Networks참고 문헌 64인용 수 9

한 줄 요약

AWB-GCN는 희박하고 파워-레인지 분포를 가진 그래프에서 발생하는 극단적인 워크로드 불균형 문제를 해결하기 위해 런타임 워크로드 재균형 기법인 동적 분포 스무딩, 원격 스위칭, 행 재매핑을 사용하는 그래프 컬러션 네트워크(GCN) 추론을 위한 하드웨어 가속기이다. 4K 처리 요소를 사용한 FPGA 평가에서 CPU 대비 3,255배, GPU 대비 80.3배, 이전 가속기 대비 5.1배의 성능 향상을 달성하였다.

ABSTRACT

Deep learning systems have been successfully applied to Euclidean data such as images, video, and audio. In many applications, however, information and their relationships are better expressed with graphs. Graph Convolutional Networks (GCNs) appear to be a promising approach to efficiently learn from graph data structures, having shown advantages in many critical applications. As with other deep learning modalities, hardware acceleration is critical. The challenge is that real-world graphs are often extremely large and unbalanced; this poses significant performance demands and design challenges. In this paper, we propose Autotuning-Workload-Balancing GCN (AWB-GCN) to accelerate GCN inference. To address the issue of workload imbalance in processing real-world graphs, three hardware-based autotuning techniques are proposed: dynamic distribution smoothing, remote switching, and row remapping. In particular, AWB-GCN continuously monitors the sparse graph pattern, dynamically adjusts the workload distribution among a large number of processing elements (up to 4K PEs), and, after converging, reuses the ideal configuration. Evaluation is performed using an Intel D5005 FPGA with five commonly-used datasets. Results show that 4K-PE AWB-GCN can significantly elevate PE utilization by 7.7x on average and demonstrate considerable performance speedups over CPUs (3255x), GPUs (80.3x), and a prior GCN accelerator (5.1x).

연구 동기 및 목표

• 실제 희박한 그래프에서 파워-레인지 분포를 가진 도메인에서 발생하는 극단적인 워크로드 불균형으로 인한 GCN 추론의 핵심 성능 저하 요인을 해결한다.
• 전체 요소 수준 제어기나 초희박하고 비정규적인 SpMM 워크로드에 부적합한 기존 가속기들—예: SCNN 및 SIGMA—의 한계를 극복한다.
• 최소한의 면적과 지연 오버헤드로 워크로드를 동적으로 재균형화할 수 있는 경량이고 확장 가능한 하드웨어 오토튜닝 프레임워크를 설계한다.
• FPGA 전용 기능에 의존하지 않고도 대규모 처리 요소 어레이(최대 4K PE)를 효율적으로 활용할 수 있도록, FPGA 기반 가속기에서 GCN 워크로드를 위한 확장 가능한 아키텍처를 제공한다.
• GraphSAGE 및 GINConv와 같이 희박한 행렬 곱셈(SpMM)에 의존하는 다른 GNN에 적용 가능한 일반적이고 확장 가능한 가속기 아키텍처를 제공한다.

제안 방법

• 세 가지 런타임 워크로드 재균형 기법을 제안한다: 분포 스무딩(이웃하는 PE 간 국소적 로드 밸런싱), 원격 스위칭(전역적 행 수준의 작업 이동), 행 재매핑(행을 재할당하여 PE 활용도 균형 맞추기).
• 실시간으로 PE 간 워크로드 분포를 모니터링하는 조잡한 경량 제어기를 사용하며, 불균형이 임계값을 초과할 경우에만 재균형을 유도한다.
• 전역적 요소 수준 제어의 높은 비용을 피하기 위해, 근처의 PE들 간에 비제로 쌍을 재분배하는 동적 분포 스무딩을 사용한다.
• 원격 스위칭과 행 재매핑을 전역적이고 행 수준의 제어기로 구현하여 전체 행 또는 행 세그먼트를 저활용도 PE로 재할당함으로써 대규모 워크로드 재균형을 가능하게 한다.
• 수렴 후 최적의 워크로드 구성 설정을 학습하고 재사용함으로써 재구성 오버헤드를 최소화하는 오토튜닝 기법을 통합한다.
• 사전 스캔을 방지하고 인덱스 저장 오버헤드를 최소화함으로써 GCN에서 흔히 발생하는 초희박한 행렬(스패arsity >99.9%)을 효과적으로 처리할 수 있도록 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 하드웨어 기반 오토튜닝은 초희박하고 파워-레인지 분포를 가진 그래프에서 GCN 추론의 워크로드 불균형을 효과적으로 줄일 수 있는가?
• RQ2 전체 면적 또는 지연 비용이 금지적인 수준이 되지 않도록, 수천 개의 PE에 걸쳐 SpMM 워크로드를 재균형화하기 위한 가장 효율적이고 확장 가능한 하드웨어 기법은 무엇인가?
• RQ3 국소적 및 전역적 재균형 전략을 조합한 하이브리드 제어기가 기존의 전역 요소 수준 제어기보다 성능과 자원 효율성 측면에서 뛰어나게 작동할 수 있는가?
• RQ4 런타임 워크로드 재균형은 정적 또는 소프트웨어 기반 로드 밸런싱 대비 처리 요소 활용도와 처리량을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 아키텍처는 GraphSAGE 및 GINConv와 같이 SpMM 기반 GNN에 대해 얼마나 일반화될 수 있는가?

주요 결과

• Intel D5005 FPGA에서 다섯 개인 실세계 GCN 데이터셋에 대해 평균 7.7배의 PE 활용도 향상을 달성하였다.
• 4K-PE 버전의 AWB-GCN은 고성능 CPU 대비 3,255배, GPU 대비 80.3배, 이전 GCN 가속기 대비 5.1배의 성능 향상을 달성하였다.
• 분포 스무딩, 원격 스위칭, 행 재매핑을 통한 런타임 워크로드 재균형은 극도로 비정규적이고 파워-레인지 분포를 가진 그래프에서도 지속적인 높은 활용도를 가능하게 한다.
• 오토튜닝 기반 제어기는 극히 낮은 면적과 지연 오버헤드로 성능 향상을 달성하여 전역 요소 수준 제어기의 확장성 문제를 피한다.
• 가속기의 아키텍처는 이식 가능하며 FPGA 전용이 아니므로 다른 하드웨어 플랫폼에 배포할 수 있다.
• 공통된 계산 원리 덕분에 GraphSAGE, GINConv, GTN 등 다른 SpMM 기반 GNN에 대해서도 잘 일반화된다.