[论文解读] CogDL: An Extensive Toolkit for Deep Learning on Graphs

Yukuo Cen, Zhenyu Hou+12 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Graph Neural Networks参考文献 53被引用 12

一句话总结

CogDL 是一个基于 PyTorch 的图深度学习综合工具包，支持使用最先进模型进行节点分类、链接预测和图分类。它通过为图嵌入和图神经网络方法提供标准化的训练与评估流程，实现了可复现的实验。

ABSTRACT

Graph representation learning aims to learn low-dimensional node embeddings for graphs. It is used in several real-world applications such as social network analysis and large-scale recommender systems. In this paper, we introduce CogDL, an extensive research toolkit for deep learning on graphs that allows researchers and developers to easily conduct experiments and build applications. It provides standard training and evaluation for the most important tasks in the graph domain, including node classification, link prediction, graph classification, and other graph tasks. For each task, it offers implementations of state-of-the-art models. The models in our toolkit are divided into two major parts, graph embedding methods and graph neural networks. Most of the graph embedding methods learn node-level or graph-level representations in an unsupervised way and preserves the graph properties such as structural information, while graph neural networks capture node features and work in semi-supervised or self-supervised settings. All models implemented in our toolkit can be easily reproducible for leaderboard results. Most models in CogDL are developed on top of PyTorch, and users can leverage the advantages of PyTorch to implement their own models. Furthermore, we demonstrate the effectiveness of CogDL for real-world applications in AMiner, which is a large academic database and system.

研究动机与目标

• 为图表示学习研究提供一个统一且可扩展的工具包。
• 为关键图学习任务提供标准的训练与评估协议。
• 通过一致的模型实现，实现排行榜结果的可复现性。
• 通过与 PyTorch 的集成，促进自定义模型的开发。
• 通过与 AMiner 学术知识库的集成，展示其在真实世界应用中的适用性。

提出的方法

• CogDL 实现了用于节点级和图级表示学习的图嵌入方法与图神经网络。
• 图嵌入方法以无监督方式学习表示，同时保留结构特性。
• 图神经网络利用节点特征，在半监督或自监督设置下运行。
• 所有模型均基于 PyTorch 构建，以实现灵活性和可扩展性。
• 该工具包为节点分类、链接预测和图分类等任务提供标准化的训练与评估循环。
• 它通过在标准数据集上实现一致的基准测试，支持模型的可复现性。

实验结果

研究问题

• RQ1 如何通过统一的工具包简化图表示学习研究与应用开发？
• RQ2 使用标准化训练与评估流程对模型可复现性有何影响？
• RQ3 该工具包在支持无监督与半监督图学习任务方面的有效性如何？
• RQ4 该工具包能否高效支持大规模知识图谱中的真实世界应用？
• RQ5 与 PyTorch 的集成如何增强模型开发与定制能力？

主要发现

• CogDL 支持多种图学习任务（包括节点分类、链接预测和图分类）的最先进模型。
• 该工具包通过标准化的训练与评估流程，实现了可复现的结果。
• CogDL 中的大多数模型基于 PyTorch 实现，便于轻松定制与扩展。
• 该工具包已成功应用于 AMiner（一个大型学术知识库）中的真实世界任务。
• CogDL 中的图嵌入方法以无监督方式有效保留了结构信息。
• 该工具包中的图神经网络在半监督和自监督设置下能有效捕捉节点特征。