[논문 리뷰] Fast Graph Representation Learning with PyTorch Geometric

Matthias Fey, Jan Eric Lenssen|arXiv (Cornell University)|2019. 03. 06.

Advanced Graph Neural Networks참고 문헌 45인용 수 1,259

한 줄 요약

PyTorch Geometric은 PyTorch를 기반으로 빠르고 유연한 그래프 표현 학습을 위한 CUDA 가속 라이브러리로, 단일화된 MessagePassing API와 광범위한 연산자 지원을 제공합니다.

ABSTRACT

We introduce PyTorch Geometric, a library for deep learning on irregularly structured input data such as graphs, point clouds and manifolds, built upon PyTorch. In addition to general graph data structures and processing methods, it contains a variety of recently published methods from the domains of relational learning and 3D data processing. PyTorch Geometric achieves high data throughput by leveraging sparse GPU acceleration, by providing dedicated CUDA kernels and by introducing efficient mini-batch handling for input examples of different size. In this work, we present the library in detail and perform a comprehensive comparative study of the implemented methods in homogeneous evaluation scenarios.

연구 동기 및 목표

• 비정형 그래프 데이터(그래프, 포인트 클라우드, 매니폴드)에서 고처리량 GNN의 문제를 해결한다.
• 그래프 신경망의 신속한 프로토타이핑을 위한 통합적이고 PyTorch 유사한 API를 제공한다.
• 효율적인 CUDA 커널로 구현된 이웃집합 집계, 풀링, 데이터셋 처리 도구의 풍부한 집합을 제공한다.

제안 방법

• 이웃집합 집계를 구현하기 위해 gather/scatter 연산이 포함된 간단한 메시지 패스 형식을 채택한다.
• 사용자가 phi (message) 및 gamma/update (aggregation)와 함께 선택된 Dottedsquare (aggregation) 함수를 구현하는 통합된 MessagePassing 인터페이스를 제공한다.
• 광범위한 GNN 연산자(GCN, SGC, ARMA, GraphSAGE, GAT, AGNN, GIN, APPNP, DNA, signed operators) 및 점구름/매니폴드 변형(Relational GCN, PointNet++/PointCNN, MPNN, MoNet, SplineCNN, EdgeCNN)을 구현한다.
• 여러 읽기(Readout) 및 풀링 옵션과 함께 전역 풀링 및 계층적 풀링을 지원한다(더하기/평균/최대, Set2Set, SortPooling, 글로벌 어텐션, DiffPool, top_k 풀링).
• 희소 대각 인접 행렬과 연결된 특징 행렬을 통해 서로 다른 크기의 그래프에 대한 미니배치 처리를 가능하게 하며, 그래프 간 누출을 방지하기 위한 자동 그래프 할당을 제공한다.
• 변환(transform), 자동 데이터셋 다운로드 및 일반 그래프 데이터셋에 걸친 벤치마크를 통해 데이터셋 처리를 쉽게 제공한다.

실험 결과

연구 질문

• RQ1 PyG가 표준 벤치마크에서 광범위한 GNN 연산자에 대해 얼마나 잘 수행하는가?
• RQ2 PyG의 gather/scatter 기반 구현이 전통적인 희소 행렬 곱셈에 비해 희소하고 비정형 그래프에서 더 높은 처리량을 제공하는가?
• RQ3 반지도 학습 노드 분류, 그래프 분류, 포인트 클라우드 작업에서 PyG의 성능 실용성과 재현성은 기존 프레임워크에 비해 어떤가?
• RQ4 다양한 풀링 및 Jumping Knowledge 스타일의 읽기가 그래프 수준 작업의 성능에 어떤 영향을 미치는가?
• RQ5 다른 그래프 학습 라이브러리 대비 PyG가 실시간으로 어떤 이점을 제공하는가?

주요 결과

• PyG는 희소 GPU 가속 및 전용 CUDA 커널을 활용하여 높은 데이터 처리량을 달성한다.
• 라이브러리는 MessagePassing 인터페이스를 통해 새로운 연구 아이디어를 신속하게 프로토타이핑할 수 있는 통합적이고 PyTorch 유사한 API를 제공한다.
• 많은 영향력 있는 GNN 아키텍처를 포괄하는 광범위한 그래프, 포인트 클라우드, 매니폴드 연산자가 구현되어 있다.
• 다른 크기의 그래프에 대해 블록 대각 인접 행렬을 구성하여 미니배치 처리를 지원하므로 확장 가능한 학습이 가능하다.
• 경험적 평가에서 반지도 노드 분류, 그래프 분류, 3D 데이터 처리 작업 전반에서 높은 재현성과 경쟁력을 보여준다.
• DGL과 비교했을 때 PyG는 여러 벤치마크에서 훨씬 빠른 학습 런타임을 달성할 수 있어 실용적 속도 이점을 보여준다.