[논문 리뷰] CogDL: An Extensive Toolkit for Deep Learning on Graphs

Yukuo Cen, Zhenyu Hou외 12명|arXiv (Cornell University)|2021. 03. 01.

Advanced Graph Neural Networks참고 문헌 53인용 수 12

한 줄 요약

CogDL은 최신 기술 기반의 모델을 사용하여 노드 분류, 링크 예측, 그래프 분류를 지원하는 포괄적인 PyTorch 기반 그래프 딥러닝 툴킷입니다. 그래프 임베딩 및 그래프 신경망 방법론을 위한 표준화된 훈련 및 평가 파이프라인을 통해 재현 가능한 실험을 가능하게 합니다.

ABSTRACT

Graph representation learning aims to learn low-dimensional node embeddings for graphs. It is used in several real-world applications such as social network analysis and large-scale recommender systems. In this paper, we introduce CogDL, an extensive research toolkit for deep learning on graphs that allows researchers and developers to easily conduct experiments and build applications. It provides standard training and evaluation for the most important tasks in the graph domain, including node classification, link prediction, graph classification, and other graph tasks. For each task, it offers implementations of state-of-the-art models. The models in our toolkit are divided into two major parts, graph embedding methods and graph neural networks. Most of the graph embedding methods learn node-level or graph-level representations in an unsupervised way and preserves the graph properties such as structural information, while graph neural networks capture node features and work in semi-supervised or self-supervised settings. All models implemented in our toolkit can be easily reproducible for leaderboard results. Most models in CogDL are developed on top of PyTorch, and users can leverage the advantages of PyTorch to implement their own models. Furthermore, we demonstrate the effectiveness of CogDL for real-world applications in AMiner, which is a large academic database and system.

연구 동기 및 목표

• 그래프 표현 학습 연구를 위한 통합적이고 확장 가능한 툴킷을 제공하기 위해.
• 핵심 그래프 학습 작업을 위한 표준 훈련 및 평가 프로토콜을 지원하기 위해.
• 일致된 모델 구현을 통해 랭킹 결과의 재현 가능성을 보장하기 위해.
• PyTorch 통합을 통해 사용자 정의 모델 개발을 용이하게 하기 위해.
• AMiner 학술 지식 기반과의 통합을 통해 실제 응용 가능성을 입증하기 위해.

제안 방법

• CogDL은 노드 및 그래프 수준의 표현 학습을 위한 그래프 임베딩 방법과 그래프 신경망을 모두 구현합니다.
• 그래프 임베딩 방법은 구조적 특성을 유지하면서 비지도 학습 방식으로 표현을 학습합니다.
• 그래프 신경망은 노드 특징을 활용하며, 준지도 또는 자기지도 설정에서 작동합니다.
• 모든 모델은 유연성과 확장성을 위해 PyTorch 위에 구축되어 있습니다.
• 노드 분류, 링크 예측, 그래프 분류를 포함한 작업을 위한 표준화된 훈련 및 평가 루프를 제공합니다.
• 표준 데이터셋 간 일致한 벤치마킹을 가능하게 하여 모델의 재현 가능성을 보장합니다.

실험 결과

연구 질문

• RQ1 통합된 툴킷은 그래프 표현 학습 연구 및 응용 개발을 어떻게 간소화할 수 있는가?
• RQ2 표준화된 훈련 및 평가 파이프라인 사용이 모델 재현 가능성에 어떤 영향을 미치는가?
• RQ3 이 툴킷은 비지도 및 준지도 그래프 학습 작업을 얼마나 효과적으로 지원하는가?
• RQ4 이 툴킷은 대규모 지식 그래프에서 실제 응용을 효율적으로 지원할 수 있는가?
• RQ5 PyTorch 통합은 모델 개발 및 커스터마이제이션을 어떻게 향상시키는가?

주요 결과

• CogDL는 노드 분류, 링크 예측, 그래프 분류를 포함한 다양한 그래프 학습 작업에서 최신 기술 기반의 모델을 지원합니다.
• 표준화된 훈련 및 평가 절차를 통해 재현 가능한 결과를 도출할 수 있습니다.
• CogDL의 대부분의 모델은 PyTorch 위에 구현되어 있어 간편한 커스터마이제이션과 확장이 가능합니다.
• 이 툴킷은 대규모 학술 지식 기반인 AMiner에서 실제 작업에 성공적으로 적용되었습니다.
• CogDL의 그래프 임베딩 방법은 비지도 방식으로 구조적 정보를 효과적으로 유지합니다.
• 이 툴킷 내의 그래프 신경망은 준지도 및 자기지도 설정에서 노드 특징을 효과적으로 포착합니다.