[논문 리뷰] Efficient Graph Deep Learning in TensorFlow with tf_geometric

Jun Hu, Shengsheng Qian외 5명|arXiv (Cornell University)|2021. 01. 27.

Advanced Graph Neural Networks참고 문헌 34인용 수 9

한 줄 요약

이 논문은 TensorFlow 1.x 및 2.x를 모두 지원하는 효율적인 그래프 딥러닝을 위한 TensorFlow 호환 라이브러리인 tf_geometric을 소개한다. 이 라이브러리는 메시지 전달, 그래프 풀링, 미니배치 학습 등의 그래프 연산을 최적화한 커널 라이브러리를 제공하며, 인기 있는 GNN들에 대한 구현을 포함하여 노드 및 그래프 분류 작업에서 공식 벤치마크와 비슷한 성능을 달성한다.

ABSTRACT

We introduce tf_geometric, an efficient and friendly library for graph deep learning, which is compatible with both TensorFlow 1.x and 2.x. tf_geometric provides kernel libraries for building Graph Neural Networks (GNNs) as well as implementations of popular GNNs. The kernel libraries consist of infrastructures for building efficient GNNs, including graph data structures, graph map-reduce framework, graph mini-batch strategy, etc. These infrastructures enable tf_geometric to support single-graph computation, multi-graph computation, graph mini-batch, distributed training, etc.; therefore, tf_geometric can be used for a variety of graph deep learning tasks, such as transductive node classification, inductive node classification, link prediction, and graph classification. Based on the kernel libraries, tf_geometric implements a variety of popular GNN models for different tasks. To facilitate the implementation of GNNs, tf_geometric also provides some other libraries for dataset management, graph sampling, etc. Different from existing popular GNN libraries, tf_geometric provides not only Object-Oriented Programming (OOP) APIs, but also Functional APIs, which enable tf_geometric to handle advanced graph deep learning tasks such as graph meta-learning. The APIs of tf_geometric are friendly, and they are suitable for both beginners and experts. In this paper, we first present an overview of tf_geometric's framework. Then, we conduct experiments on some benchmark datasets and report the performance of several popular GNN models implemented by tf_geometric.

연구 동기 및 목표

• 희박하고 비정규적인 그래프 데이터에서 효율적이고 확장 가능한 그래프 신경망(GNN)을 구현하는 데 도전하는 것.
• TensorFlow 1.x 및 2.x를 모두 지원하는 통합된 고성능 프레임워크를 제공하여 그래프 딥러닝을 위한 기반을 마련하는 것.
• 이행적 및 유도적 노드 분류, 링크 예측, 그래프 분류를 포함한 다양한 GNN 작업을 지원하는 것.
• 초보자부터 고급 사용자까지 복잡한 GNN 워크로드를 다룰 수 있도록 객체 지향 및 기능형 API를 모두 제공하는 것.
• 메시지 집계 및 그래프 풀링과 같은 핵심 GNN 연산을 커스텀 커널 라이브러리와 효율적인 데이터 구조를 통해 최적화하는 것.

제안 방법

• 희박하고 비정규적인 그래프 데이터를 효율적으로 처리하기 위해 그래프 데이터 구조와 맵리듀스 프레임워크를 설계하는 것.
• 대규모 그래프에서의 학습을 지원하기 위해 효율적인 샘플링과 배치 처리를 통한 그래프 미니배치 전략을 구현하는 것.
• 단일 그래프, 다중 그래프, 분산 학습 워크로드를 모두 지원하는 커널 라이브러리 스택을 도입하는 것.
• 그래프 메타러닝 및 모델 조합과 같은 고급 사용 사례를 가능하게 하기 위해 OOP 및 기능형 API를 모두 지원하는 것.
• 메시지 전달 및 계층적 그래프 풀링(DiffPool, SAGPool h 등)을 포함한 핵심 GNN 구성 요소의 최적화된 구현을 제공하는 것.
• 데이터셋 관리, 그래프 샘플링, 교차 검증을 위한 보조 도구를 통합하여 모델 평가를 간소화하는 것.

실험 결과

연구 질문

• RQ1 TensorFlow를 사용하여 희박하고 비정규적인 그래프 데이터에서 그래프 신경망을 어떻게 효율적으로 구현할 수 있는가?
• RQ2 단일 및 다중 그래프 환경에서 스케일러블한 GNN 학습을 지원하기 위해 필요한 시스템 수준 최적화는 무엇인가?
• RQ3 OOP 및 기능형 API를 모두 제공하는 통합 라이브러리는 초보자에게도 친화적이면서 동시에 고급 GNN 연구를 효과적으로 지원할 수 있는가?
• RQ4 tf_geometric에 구현된 GNN 모델의 성능은 표준 벤치마크에서 공식 구현과 비교해 어떻게 되는가?
• RQ5 아키텍처 수정(예: 평균-최대 풀링)을 통해 그래프 분류 작업의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• tf_geometric은 노드 분류 작업에서 경쟁력 있는 성능을 달성하였으며, Cora, CiteSeer, PubMed에서 GCN, GAT, SGC, APPNP, DGI 모델이 공식 결과와 동일하거나 근접한 성능을 기록하였다.
• Cora 데이터셋에서 tf_geometric의 GAT 모델은 83.0±0.8%의 정확도를 달성하였으며, Velickovic 등(2018)에서 보고한 83.0%와 일치하는 결과를 보였다.
• 그래프 분류 작업에서는 Mean-Max Pool 모델이 NCI1에서 76.03±0.7%의 정확도를 기록하여, 일부 경우에서 Set2Set 및 SortPool과 같은 더 복잡한 모델보다 뛰어난 성능을 보였다.
• 라이브러리의 최적화된 아키텍처 덕분에, 특히 다중 레이어에 걸쳐 평균-최대 풀링과 같은 향상된 풀링 전략을 사용할 경우 기준 구현보다 뛰어난 성능을 발휘할 수 있었다.
• OOP 및 기능형 API의 통합은 모델링의 유연성을 높여 메타러닝 및 모듈형 GNN 설계와 같은 고급 작업을 지원할 수 있게 하였다.
• 라이브러리는 분산 학습과 다중 그래프 연산을 성공적으로 지원하여 다양한 GNN 워크로드에서 확장성을 입증하였다.