[논문 리뷰] Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis

Maciej Besta, Torsten Hoefler|arXiv (Cornell University)|2022. 05. 19.

Advanced Graph Neural Networks인용 수 15

한 줄 요약

이 논문은 병렬 및 분산 그래프 신경망(GNN)에 대한 종합적인 동시성 분석을 제시하며, 데이터 병렬성, 모델 병렬성, 파ip라이닝, 이방성 등을 포함한 분류 체계를 도입한다. 다양한 GNN 모델과 하드웨어에서 작업-깊이, 통신 볼륨, 동기화, 텐서 희소성에 대한 형식적 분석을 수행하여 실용적인 통찰을 도출하고 현대 아키텍처에서 확장 가능하고 고성능 GNN 계산을 위한 핵심 연구 과제를 규명한다.

ABSTRACT

Graph neural networks (GNNs) are among the most powerful tools in deep learning. They routinely solve complex problems on unstructured networks, such as node classification, graph classification, or link prediction, with high accuracy. However, both inference and training of GNNs are complex, and they uniquely combine the features of irregular graph processing with dense and regular computations. This complexity makes it very challenging to execute GNNs efficiently on modern massively parallel architectures. To alleviate this, we first design a taxonomy of parallelism in GNNs, considering data and model parallelism, and different forms of pipelining. Then, we use this taxonomy to investigate the amount of parallelism in numerous GNN models, GNN-driven machine learning tasks, software frameworks, or hardware accelerators. We use the work-depth model, and we also assess communication volume and synchronization. We specifically focus on the sparsity/density of the associated tensors, in order to understand how to effectively apply techniques such as vectorization. We also formally analyze GNN pipelining, and we generalize the established Message-Passing class of GNN models to cover arbitrary pipeline depths, facilitating future optimizations. Finally, we investigate different forms of asynchronicity, navigating the path for future asynchronous parallel GNN pipelines. The outcomes of our analysis are synthesized in a set of insights that help to maximize GNN performance, and a comprehensive list of challenges and opportunities for further research into efficient GNN computations. Our work will help to advance the design of future GNNs.

연구 동기 및 목표

• 다량의 병렬 아키텍처에서 복잡하고 비정규적이며 고밀도인 GNN 계산을 효율적으로 실행하는 데 도전하는 데 목적을 두며.
• GNN의 병렬성에 대한 통합된 분류 체계를 개발하여 데이터 병렬성, 모델 병렬성, 파이프라인 병렬성(비동기 실행 포함)을 포함한다.
• 다양한 GNN 모델과 프레임워크를 대상으로 작업-깊이, 통신 볼륨, 동기화, 텐서 희소성 분석을 통해 최적화를 안내한다.
• 메시지 전달 GNN 클래스를 임의의 파이프라인 깊이로 일반화하고 향후 최적화 기회를 규명한다.
• 고성능, 확장 가능한 GNN 시스템을 발전시키기 위한 통찰과 포괄적인 개방 과제 목록을 종합한다.

제안 방법

• GNN의 병렬성에 대한 형식적 분류 체계를 제안하며, 데이터 병렬성, 모델 병렬성, 다양한 파이프라인 전략을 포함한다.
• 작업-깊이 모델을 적용하여 GNN 모델 간의 계산 복잡도와 동시성을 분석하고, 작업과 깊이를 측정한다.
• 비정규적인 그래프 액세스 패턴 하에서 분산 GNN 학습 및 추론의 통신 볼륨과 동기화 비용을 평가한다.
• 벡터화 및 메모리 액세스 최적화의 효과를 평가하기 위해 텐서 희소성과 밀도를 분석한다.
• 메시지 전달 GNN 프레임워크를 임의의 파이프라인 깊이를 지원하도록 일반화하여 새로운 최적화 기회를 창출한다.
• GNN 파이프라인 내 이방성의 형태를 조사하여 확장 가능하고 저동기화 GNN 학습을 위한 향후 연구의 기초를 마련한다.

실험 결과

연구 질문

• RQ1 현대 GNN 모델에 존재하는 병렬성의 형태는 무엇이며, 이를 체계적으로 분류할 수 있는가?
• RQ2 통신 볼륨, 동기화, 텐서 희소성이 분산 GNN 학습 및 추론의 성능에 어떤 영향을 미치는가?
• RQ3 파이프라인화와 이방성은 GNN 계산의 확장성 향상과 버팀목 제거에 얼마나 효과적으로 활용될 수 있는가?
• RQ4 메시지 전달 GNN 추상화는 어떤 식으로 임의의 파이프라인 깊이를 지원하도록 일반화될 수 있으며, 최적화 기회가 어떻게 증가하는가?
• RQ5 분산, 이질적, 고성능 컴퓨팅 시스템에서 GNN을 확장시키는 데 있어 핵심적인 개방 과제와 연구 기회는 무엇인가?

주요 결과

• 논문은 복잡한 GNN 모델의 병렬화에 대한 연구가 기초적인 그래프 컨volution 네트워크(GCNs)와 GraphSAGE를 초과해 거의 존재하지 않음을 규명한다. 특히 메시지 전달 GNN 클래스에 속하는 모델에 대해 그렇다.
• 다항식 또는 분수 유형의 비선형 GNN 모델의 병렬화에 대한 연구가 극히 미미하여 중대한 연구 격차가 있음을 시사한다.
• 이질적, 동적, 시간적, 계층적 GNN의 병렬화는 그 중요성과 다양성이 증가하고 있음에도 불구하고 거의 탐색되지 않았다.
• 저자들은 대규모 모델과 데이터셋으로 GNN을 확장하는 것이 여전히 주요 과제이며, CNN과 트랜스포머에 비해 뚜렷한 성능 격차가 존재한다고 강조한다.
• 동적 및 스트리밍 그래프 처리에서의 기법들이 GNN의 확장성 향상에 적응될 수 있음을 밝혀내어 유망한 연구 방향을 제시한다.
• 저자들은 고성능 분산 메모리 시스템, RDMA, 스마트NIC, 메모리 기반 컴퓨팅을 통합하면 분산 GNN 계산이 크게 가속화될 수 있지만, 현재로서는 이러한 시스템이 거의 존재하지 않음을 지적한다.