[논문 리뷰] UWB-GCN: Hardware Acceleration of Graph-Convolution-Network through Runtime Workload Rebalancing.

Tong Geng, Ang Li외 5명|arXiv (Cornell University)|2019. 08. 23.

Advanced Graph Neural Networks참고 문헌 9인용 수 8

한 줄 요약

이 논문은 실세계의 큰 비균형 그래프에서 발생하는 성능 저하 요인을 해결하기 위해 런타임 워크로드 재균형을 통해 동적 분포 스무딩, 원격 스위칭, 행 재매핑을 적용하는 하드웨어 가속기 AWB-GCN을 제안한다. 이는 다섯 개의 데이터셋에서 4K PEs를 갖춘 FPGA에서 CPU 대비 평균 7.7배의 PE 활용도 향상과 최대 3255배의 속도 향상을 달성한다.

ABSTRACT

Deep learning systems have been successfully applied to Euclidean data such as images, video, and audio. In many applications, however, information and their relationships are better expressed with graphs. Graph Convolutional Networks (GCNs) appear to be a promising approach to efficiently learn from graph data structures, having shown advantages in many critical applications. As with other deep learning modalities, hardware acceleration is critical. The challenge is that real-world graphs are often extremely large and unbalanced; this poses significant performance demands and design challenges. In this paper, we propose Autotuning-Workload-Balancing GCN (AWB-GCN) to accelerate GCN inference. To address the issue of workload imbalance in processing real-world graphs, three hardware-based autotuning techniques are proposed: dynamic distribution smoothing, remote switching, and row remapping. In particular, AWB-GCN continuously monitors the sparse graph pattern, dynamically adjusts the workload distribution among a large number of processing elements (up to 4K PEs), and, after converging, reuses the ideal configuration. Evaluation is performed using an Intel D5005 FPGA with five commonly-used datasets. Results show that 4K-PE AWB-GCN can significantly elevate PE utilization by 7.7x on average and demonstrate considerable performance speedups over CPUs (3255x), GPUs (80.3x), and a prior GCN accelerator (5.1x).

연구 동기 및 목표

• 실세계의 큰 그래프에서 GCN 추론 중 발생하는 극단적인 워크로드 불균형 문제를 해결한다.
• 희소 그래프 액세스 패턴에 동적으로 대응함으로써 GCN 가속기의 하드웨어 효율성과 성능을 향상시킨다.
• 확장 가능한 대규모 병렬 아키텍처(최대 4K PEs)에서 처리 요소(PE) 활용도를 극대화한다.
• CPU, GPU 및 이전의 GCN 가속기 대비 추론 지연 시간과 에너지 소비를 줄인다.
• 수렴한 후 최적의 워크로드 분포를 재사용할 수 있도록 자동 튜닝을 통해 효율적인 구성 설정을 가능하게 한다.

제안 방법

• 런타임 중 희소 그래프 액세스 패턴을 동적으로 모니터링하여 처리 요소(PE) 간의 워크로드 불균형을 탐지한다.
• 실시간으로 워크로드를 재분배하기 위해 동적 분포 스무딩을 적용하여 유휴 상태인 PE를 최소화하고 계산 부하를 균형 잡는다.
• 불균형이 감지될 경우 계산을 더 바쁜 PE로 재지정하기 위해 원격 스위칭을 활용하여 부하 분포를 개선한다.
• 액세스 핫스팟 기반으로 그래프 데이터 레이아웃을 재구성함으로써 통신 및 메모리 액세스 오버헤드를 감소시킨다.
• 수렴 후 최적의 워크로드 구성 설정을 식별하고 재사용할 수 있도록 자동 튜닝을 통합하여 재구성 비용을 최소화한다.
• 성능 평가를 위해 가속기를 Intel D5005 FPGA에 구현하여 다섯 개의 표준 GCN 데이터셋에서 성능을 측정한다.

실험 결과

연구 질문

• RQ1 대규모 비균형 그래프에서 GCN 추론을 가속하기 위해 런타임 워크로드 재균형을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 동적 분포 스무딩, 원격 스위칭 및 행 재매핑이 4K-PE GCN 가속기에서 PE 활용도를 얼마나 향상시킬 수 있는가?
• RQ3 하드웨어 기반 자동 튜닝을 통해 CPU, GPU 및 이전의 GCN 가속기 대비 어떤 성능 향상을 달성할 수 있는가?
• RQ4 런타임 자동 튜닝을 통해 수렴한 최적의 워크로드 구성 설정은 얼마나 안정적이고 재사용 가능한가?
• RQ5 다양한 희소성과 액세스 패턴을 가진 실세계 그래프 데이터셋 전반에서 제안된 기법들이 높은 성능을 유지할 수 있는가?

주요 결과

• AWB-GCN은 실세계 그래프에서 기존 방법 대비 평균 7.7배의 처리 요소(PE) 활용도 향상을 달성한다.
• 4K-PE 구현체인 AWB-GCN은 다섯 개의 벤치마크 데이터셋에서 CPU 대비 3255배의 속도 향상과 GPU 대비 80.3배의 속도 향상을 기록한다.
• 이전의 GCN 가속기 대비 AWB-GCN은 훨씬 뛰어난 워크로드 균형 조절과 런타임 적응 능력 덕분에 5.1배의 성능 향상을 달성한다.
• 자체 튜닝 메커니즘이 수렴 후 최적의 워크로드 구성 설정을 성공적으로 식별하고 재사용하여 재구성 오버헤드를 줄였다.
• 동적 분포 스무딩과 원격 스위칭은 특히 극단적으로 비균형적인 액세스 패턴을 가진 그래프에서 핫스팟과 유휴 PE 문제를 효과적으로 완화한다.
• 행 재매핑은 메모리 액세스 지연을 감소시키고 데이터 국소성을 향상시켜 희소 그래프 처리의 전체 처리량을 향상시킨다.