[논문 리뷰] CogDL: A Comprehensive Library for Graph Deep Learning

Yukuo Cen, Zhenyu Hou외 16명|arXiv (Cornell University)|2021. 03. 01.

Advanced Graph Neural Networks참고 문헌 70인용 수 5

한 줄 요약

CogDL은 모듈화되고 효율적이며 재현 가능한 프레임워크를 통해 그래프 신경망(GNN)의 학습과 평가를 통합하는 종합적인 그래프 딥러닝 라이브러리입니다. 혼합 정밀도 지원, 최적화된 희소 연산자, 다양한 그래프 작업에 대한 표준화된 벤치마크를 통해 엔드 투 엔드 학습을 가능하게 하여 GNN 연구 및 응용 개발의 효율성과 재현 가능성을 크게 향상시킵니다.

ABSTRACT

Graph neural networks (GNNs) have attracted tremendous attention from the graph learning community in recent years. It has been widely adopted in various real-world applications from diverse domains, such as social networks and biological graphs. The research and applications of graph deep learning present new challenges, including the sparse nature of graph data, complicated training of GNNs, and non-standard evaluation of graph tasks. To tackle the issues, we present CogDL, a comprehensive library for graph deep learning that allows researchers and practitioners to conduct experiments, compare methods, and build applications with ease and efficiency. In CogDL, we propose a unified design for the training and evaluation of GNN models for various graph tasks, making it unique among existing graph learning libraries. By utilizing this unified trainer, CogDL can optimize the GNN training loop with several training techniques, such as mixed precision training. Moreover, we develop efficient sparse operators for CogDL, enabling it to become the most competitive graph library for efficiency. Another important CogDL feature is its focus on ease of use with the aim of facilitating open and reproducible research of graph learning. We leverage CogDL to report and maintain benchmark results on fundamental graph tasks, which can be reproduced and directly used by the community.

연구 동기 및 목표

• 동일한 데이터셋에서 다양한 연구 논문 간 평가 기준의 부재로 인해 결과가 일관되지 않고 상호 비교가 어려운 문제를 해결하기 위해.
• 통합된 학습 루프 내에서 최적화된 희소 연산자와 혼합 정밀도 학습을 도입하여 GNN의 학습 효율성을 향상시키기 위해.
• 모델, 데이터, 학습 구성 요소를 분리하여 다양한 실험과 통합을 지원하는 모듈러하고 확장 가능한 프레임워크를 제공하기 위해.
• 표준화된 분할 및 평가 지표를 사용하여 기본 그래프 작업에 대해 재현 가능한 벤치마크 랭킹을 수립하고 유지하기 위해.
• 출시 즉시 사용 가능한 최첨단 GNN 모델 및 사전 설정된 학습 파이프라인을 제공하여 개방적이고 재현 가능한 연구를 촉진하기 위해.

제안 방법

• 다양한 그래프 작업 간에 일관되고 효율적인 학습을 가능하게 하는 통합된 트레이너를 도입하여 혼합 정밀도 학습과 같은 기법을 활용합니다.
• 모델과 데이터 처리를 추상화하기 위해 분리된 ModelWrapper 및 DataWrapper 모듈을 활용하여 다양한 GNN 아키텍처와 데이터 형식의 탄력적 통합을 가능하게 합니다.
• 그래프 구조 데이터에 특화된 고도로 최적화된 희소 연산자를 개발하여, 기존 딥러닝 프레임워크 대비 GPU 활용도와 학습 속도를 향상시킵니다.
• 노드 분류, 링크 예측, 복합 링크 예측, 지식 그래프 보완과 같은 다양한 그래프 학습 작업을 지원하며, 각 작업에 대해 표준화된 데이터 분할 및 평가 지표를 제공합니다.
• 연구자가 핵심 컴포넌트를 수정하지 않고도 새로운 모델, 데이터셋, 학습 전략을 쉽게 통합할 수 있도록 모듈러한 라이브러리 아키텍처를 구현합니다.
• 일관된 설정과 평가 프로토콜을 사용하여 공개 데이터셋(Cora, PubMed, DBLP, FB15k-237 등)에 대해 중앙집중식으로 유지되는 재현 가능한 벤치마크 랭킹을 유지합니다.

실험 결과

연구 질문

• RQ1 다양한 그래프 학습 작업 간에 GNN 학습과 평가를 어떻게 표준화할 수 있을까? 이는 재현 가능성과 공정한 비교를 향상시킬 수 있다.
• RQ2 희소하고 비 유클리드 기반의 그래프 데이터에서 효율적이고 확장 가능한 GNN 학습을 가능하게 하는 설계 패턴과 시스템 최적화는 무엇인가?
• RQ3 혼합 정밀도와 최적화된 희소 연산자를 갖춘 통합 학습 프레임워크는 기존 라이브러리 대비 학습 효율성에서 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 모듈러하고 확장 가능한 라이브러리 아키텍처는 연구 실험과 산업적 구현 모두에 효과적으로 기여할 수 있는가?
• RQ5 다양한 그래프 작업과 데이터셋 간에 벤치마킹을 어떻게 재현 가능하고 커뮤니티가 유지 관리할 수 있도록 할 수 있는가?

주요 결과

• CogDL은 최적화된 희소 연산자를 통해 그래프 구조 데이터 처리에서 표준 딥러닝 프레임워크를 능가하는 최첨단 학습 효율성을 달성합니다.
• 혼합 정밀도 학습을 통한 통합 트레이너는 모든 벤치마크 작업에서 모델 정확도를 유지하면서도 학습 시간과 메모리 사용량을 줄입니다.
• Cora, PubMed, DBLP 등의 데이터셋에서 표준화된 평가 프로토콜을 통해 일관되고 비교 가능한 결과를 보장하여 모델 성능 비교의 모호성을 감소시킵니다.
• CogDL에서 유지 관리하는 랭킹은 재현 가능하며 공개 가능하며, 고정된 난수 시드와 하이퍼파라미터를 사용하여 결과가 검증됩니다.
• 라이브러리는 노드 분류, 링크 예측, 지식 그래프 보완 작업에서 15개 이상의 최첨단 GNN 모델을 성공적으로 구현하고 벤치마크합니다.
• CogDL의 모듈러 아키텍처는 새로운 모델과 학습 기법의 원활한 통합을 가능하게 하여, 동적 그래프 및 자기지도 학습과 같은 향후 연구 방향을 지원합니다.