[논문 리뷰] GCNear: A Hybrid Architecture for Efficient GCN Training with Near-Memory Processing

Zhe Xiao Zhou, Cong Li외 2명|arXiv (Cornell University)|2021. 10. 31.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

GCNear는 그래프 컨volution 네트워크(GCN) 학습을 가속화하기 위해 메모리 집약적인 Reduce 연산을 DIMM 내부의 NME에, 계산 집약적인 Update 연산을 전용 CAE에 이관하는 하이브리드 near-memory 아키텍처를 제안한다. 이로 인해 대규모 그래프에서 높은 대역폭 활용도와 확장성을 달성한다. 시스템은 그래프의 비정규성에 대응하는 워크로드 인식 기반의 분할 및 최적화를 통해 학습 지연과 메모리 압박을 감소시킨다.

ABSTRACT

Recently, Graph Convolutional Networks (GCNs) have become state-of-the-art algorithms for analyzing non-euclidean graph data. However, it is challenging to realize efficient GCN training, especially on large graphs. The reasons are many-folded: 1) GCN training incurs a substantial memory footprint. Full-batch training on large graphs even requires hundreds to thousands of gigabytes of memory to buffer the intermediate data for back-propagation. 2) GCN training involves both memory-intensive data reduction and computation-intensive features/gradients update operations. Such a heterogeneous nature challenges current CPU/GPU platforms. 3) The irregularity of graphs and the complex training dataflow jointly increase the difficulty of improving a GCN training system's efficiency. This paper presents GCNear, a hybrid architecture to tackle these challenges. Specifically, GCNear adopts a DIMM-based memory system to provide easy-to-scale memory capacity. To match the heterogeneous nature, we categorize GCN training operations as memory-intensive Reduce and computation-intensive Update operations. We then offload Reduce operations to on-DIMM NMEs, making full use of the high aggregated local bandwidth. We adopt a CAE with sufficient computation capacity to process Update operations. We further propose several optimization strategies to deal with the irregularity of GCN tasks and improve GCNear's performance. We also propose a Multi-GCNear system to evaluate the scalability of GCNear.

연구 동기 및 목표

• 대규모 그래프에서 전체 배치(full-batch) GCN 학습이 수백에서 수천 기가바이트의 메모리가 필요로 하는 높은 메모리 프로파일 문제를 해결한다.
• GCN 학습에서 메모리 집약적인 Reduce와 계산 집약적인 Update 연산의 이질적인 조합으로 인한 성능 저하 문제를 해결한다.
• 기존 CPU/GPU 플랫폼에서 최적화를 어렵게 만드는 GCN 학습의 비정규적 데이터 액세스 패턴과 복잡한 데이터 플로우 문제를 해결한다.
• 고대역폭의 DIMM 내부 처리 기능을 활용해 학습 효율성을 향상시키고 시스템 지연을 감소시키는 확장 가능한 near-memory 아키텍처를 설계한다.

제안 방법

• 중간 GCN 학습 데이터를 저장하기 위해 확장 가능하고 고용량의 패키지 내 메모리로 DIMM 기반 메모리 시스템을 채택한다.
• GCN 학습을 메모리 집약적인 Reduce 연산(예: 기울기 집계)과 계산 집약적인 Update 연산(예: 가중치 갱신)으로 분류한다.
• 고지역 대역폭과 외부 메모리 트래픽 감소를 위해 Reduce 연산을 DIMM 내부의 신경 메모리 엔진(NME)에 이관한다.
• 충분한 계산 능력을 갖춘 컴퓨팅 애태치드 엔진(CAE)을 사용하여 Update 연산을 처리함으로써 메모리 제약 작업과 분리한다.
• 하이브리드 실행 모델에서의 데이터 플로우 효율성을 향상시키고 그래프의 비정규성을 관리하기 위한 최적화 전략을 도입한다.
• 다중 DIMM 노드를 통한 확장성 평가 및 대규모 그래프에서의 성능 분석을 위해 Multi-GCNear 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 하이브리드 near-memory 아키텍처는 GCN 학습 워크로드를 메모리 집약적 및 계산 집약적 단계로 효과적으로 분할하여 성능을 극대화할 수 있는가?
• RQ2 DIMM 내부의 NME를 통해 메모리 대역폭 압박을 얼마나 줄일 수 있고, 대규모 GCN의 학습 처리량을 얼마나 향상시킬 수 있는가?
• RQ3 Update 연산을 위한 CAE 통합은 기존 CPU/GPU 이관 방식에 비해 전체 시스템 효율성을 얼마나 향상시키는가?
• RQ4 GCN 학습 중 그래프 구조 데이터의 내재된 비정규적 데이터 액세스 패턴을 처리하기 위해 필요한 최적화는 무엇인가?
• RQ5 다중 DIMM 노드를 배포할 경우 Multi-GCNear 시스템의 학습 성능과 메모리 용량 측면에서의 확장성은 어떠한가?

주요 결과

• GCNear는 메모리 집약적인 Reduce 연산을 DIMM 내부 NME에 이관함으로써 고지역 대역폭을 활용해 메모리 대역폭 압박을 크게 감소시킨다.
• Reduce 및 Update 워크로드의 분리로 전용 하드웨어 구성 요소의 부하 균형 조절과 활용도 향상이 가능해진다.
• CAE 기반의 Update 연산 처리는 높은 계산 능력을 제공하여 집약적인 가중치 갱신 단계를 효율적으로 처리할 수 있다.
• 그래프의 비정규성에 대응하는 최적화 전략은 데이터 플로우 효율성을 향상시키고 하이브리드 처리 파이프라인의 유휴 시간을 줄인다.
• Multi-GCNear 시스템은 강력한 확장성을 보이며, 더 많은 DIMM 노드가 추가될수록 더 큰 그래프를 지원하고 높은 학습 처리량을 달성한다.
• 기존 CPU/GPU 플랫폼에 비해 특히 대규모 그래프에서 전체 배치 학습 시 학습 효율성이 향상된다.