[논문 리뷰] QGTC: Accelerating Quantized Graph Neural Networks via GPU Tensor Core

Yuke Wang, Boyuan Feng외 1명|arXiv (Cornell University)|2021. 11. 18.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

QGTC는 GPU Tensor Core 기반의 새로운 프레임워크로, 양자화된 그래프 신경망(QGNNs)에 대한 고성능, 임의의 비트폭(비트폭) 추론을 가능하게 한다. TC 최적화된 CUDA 커널 내에서 비트 분해 산술, 3D 스택형 비트 압축, 제로 타일 절차 건너뛰기, 비제로 타일 재사용을 도입함으로써 QGTC는 다양한 GNN 워크로드에서 최신 DGL 대비 평균 2.7배의 성능 향상을 달성하였으며, 희소적이고 저비트의 GNN 계산을 위한 GPU Tensor Core의 효과적 활용을 입증한다.

ABSTRACT

Over the most recent years, quantized graph neural network (QGNN) attracts lots of research and industry attention due to its high robustness and low computation and memory overhead. Unfortunately, the performance gains of QGNN have never been realized on modern GPU platforms. To this end, we propose the first Tensor Core (TC) based computing framework, QGTC, to support any-bitwidth computation for QGNNs on GPUs. We introduce a novel quantized low-bit arithmetic design based on the low-bit data representation and bit-decomposed computation. We craft a novel TC-tailored CUDA kernel design by incorporating 3D-stacked bit compression, zero-tile jumping, and non-zero tile reuse technique to improve the performance systematically. We incorporate an effective bandwidth-optimized subgraph packing strategy to maximize the transferring efficiency between CPU host and GPU device. We integrate QGTC with Pytorch for better programmability and extensibility. Extensive experiments demonstrate that QGTC achieves on average 2.7x speedup compared with the state-of-the-art Deep Graph Library framework across diverse settings.

연구 동기 및 목표

• 현대 GPU에서 양자화된 그래프 신경망(QGNNs)을 구동할 때 발생하는 성능 격차를 해소하기 위해, 낮은 메모리 및 계산 오버헤드를 가짐에도 불구하고.
• 기존 GPU 프레임워크가 CUDA 코어에 의존하여 저정밀도 GNN을 위한 비트 수준 연산을 효율적으로 활용하지 못하는 한계를 극복하기 위해.
• GPU Tensor Cores에서 임의의 비트폭(예: 1-, 2-, 4비트) 연산을 가능하게 하여 현재 GNN 워크로드에서 미사용되고 있는 Tensor Cores의 잠재력을 극대화하기 위해.
• PyTorch와 같은 고수준 딥러닝 프레임워크와의 사용성 및 확장성을 확보하기 위해, 저비트 GNN 연산과 소프트웨어 스택을 연결하는 설계를 위해.
• 희소적 GNN 워크로드를 위한 대칭적 메모리 대역폭 최적화 및 TC 맞춤형 커널 최적화를 통해 GPU 자원 활용도를 극대화하기 위해.

제안 방법

• 기본적으로 1비트 및 4비트 Tensor Core 연산을 지원하는 하드웨어를 기반으로, 임의의 비트폭 GNN 연산을 모방하기 위한 비트 분해 산술 설계를 제안한다.
• 여러 저비트 값을 단일 32비트 워드에 압축하여 메모리 사용량을 줄이고 데이터 재사용성을 향상시키기 위해 3D 스택형 비트 압축 기법을 구현한다.
• 제로값 인접행렬 타일의 불필요한 연산을 건너뛰기 위해 제로 타일 절차 건너뛰기를 도입한 TC 최적화 CUDA 커널을 설계한다.
• 여러 개의 GEMM 연산 동안 이전에 로드된 비제로 인접행렬 타일을 재사용하여 글로벌 메모리 대역폭 압박을 줄이는 비제로 타일 재사용 기법을 도입한다.
• 유사한 크기와 액세스 패턴을 가진 서브그래프를 결합함으로써 CPU 호스트와 GPU 장치 간 데이터 전송 효율성을 극대화하는 대칭적 메모리 대역폭 최적화 서브그래프 패킹 전략을 개발한다.
• PyTorch와의 통합을 통해 프로그래밍 가능성, 확장성 및 기존 딥러닝 워크플로우와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 기존 CUDA 코어 기반 프레임워크를 초월하여 GPU Tensor Cores가 양자화된 GNN 추론을 효과적으로 가속화할 수 있는가?
• RQ2 하드웨어가 1비트 및 4비트 연산만을 네이티브로 지원할 경우, 2비트, 4비트 등 임의의 비트폭 GNN 연산을 어떻게 효율적으로 모방할 수 있는가?
• RQ3 희소적이고 비정규적인 GNN 연산에서 Tensor Cores의 성능 저하 요인을 완화하는 데 가장 효과적인 커널 수준 최적화는 무엇인가?
• RQ4 서브그래프 패킹 및 메모리 액세스 최적화를 통해 CPU와 GPU 간의 데이터 전송 효율성이 얼마나 향상될 수 있는가?
• RQ5 비트 수준 압축, 제로 타일 절차 건너뛰기, 비제로 타일 재사용의 조합이 QGNN 추론의 전체 처리량과 GPU 활용도에 미치는 영향은 어느 정도인가?

주요 결과

• QGTC는 다양한 GNN 모델과 데이터셋에서 최신 DGL 프레임워크 대비 평균 2.7배의 추론 성능 향상을 달성한다.
• QGTC의 1비트 GEMM 커널 성능은 서브그래프 크기가 증가함에 따라 잘 스케일링되며, 특히 512에서 16,384개의 노드 범위에서 GPU SM 활용도가 높아져 계산 집약도가 증가함에 따라 향상된다.
• 비제로 타일 재사용은 대규모 행렬(예: N=8,192)에서 글로벌 메모리 액세스 오버헤드를 줄여 주요하게 성능 향상을 이끌어내며, 특히 노드 임베딩에 높은 비트폭(4–16비트)을 사용할 경우 두드러진 효과가 있다.
• 3D 스택형 비트 압축 기법은 메모리 사용량을 효과적으로 줄이고 비트 수준 병렬 처리를 가능하게 하여 Tensor Cores에서의 고도의 산술 집약도 기여한다.
• 대칭적 메모리 대역폭 최적화를 통한 서브그래프 패킹은 CPU와 GPU 간의 데이터 전송 효율성을 향상시켜 정지 시간을 줄이고 전체 시스템 처리량을 증가시킨다.
• 현대 GPU에서 강력한 확장성과 자원 활용도를 보이며, 대규모 서브그래프 크기에서 SM가 전부 활성화됨에 따라 최고 성능에 가까운 성능을 기록한다.