[论文解读] CogDL: A Comprehensive Library for Graph Deep Learning

Yukuo Cen, Zhenyu Hou+16 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Graph Neural Networks参考文献 70被引用 5

一句话总结

CogDL 是一个全面的图深度学习库，通过模块化、高效且可复现的框架，统一了图神经网络（GNN）的训练与评估。它支持混合精度训练、优化的稀疏算子以及跨多种图任务的标准化基准测试，显著提升了 GNN 研究与应用开发中的效率和可复现性。

ABSTRACT

Graph neural networks (GNNs) have attracted tremendous attention from the graph learning community in recent years. It has been widely adopted in various real-world applications from diverse domains, such as social networks and biological graphs. The research and applications of graph deep learning present new challenges, including the sparse nature of graph data, complicated training of GNNs, and non-standard evaluation of graph tasks. To tackle the issues, we present CogDL, a comprehensive library for graph deep learning that allows researchers and practitioners to conduct experiments, compare methods, and build applications with ease and efficiency. In CogDL, we propose a unified design for the training and evaluation of GNN models for various graph tasks, making it unique among existing graph learning libraries. By utilizing this unified trainer, CogDL can optimize the GNN training loop with several training techniques, such as mixed precision training. Moreover, we develop efficient sparse operators for CogDL, enabling it to become the most competitive graph library for efficiency. Another important CogDL feature is its focus on ease of use with the aim of facilitating open and reproducible research of graph learning. We leverage CogDL to report and maintain benchmark results on fundamental graph tasks, which can be reproduced and directly used by the community.

研究动机与目标

• 解决不同研究论文中 GNN 评估缺乏标准化的问题，该问题导致在相同数据集上结果不一致且不可比较。
• 通过在统一训练循环中引入优化的稀疏算子和混合精度训练，提升 GNN 的训练效率。
• 提供一个模块化、可扩展的框架，将模型、数据和训练组件解耦，以支持灵活的实验和集成。
• 通过标准化的划分和评估指标，建立并维护基础图任务的可复现基准排行榜。
• 通过开箱即用的最先进 GNN 模型实现和预配置的训练流水线，促进开放且可复现的研究。

提出的方法

• 引入统一的训练器，标准化了多种图任务中的 GNN 训练循环，支持混合精度训练等技术，实现一致且高效的训练。
• 采用解耦的 ModelWrapper 和 DataWrapper 模块，抽象模型和数据处理，支持多样化 GNN 架构和数据格式的灵活集成。
• 开发了针对图结构化数据高度优化的稀疏算子，相比标准深度学习框架，显著提升了 GPU 利用率和训练速度。
• 支持多种图学习任务——节点分类、链接预测、多层链接预测和知识图谱补全——每项任务均配备标准化的数据划分和评估指标。
• 采用模块化库设计，允许研究人员在不修改核心组件的前提下，轻松插入新模型、数据集和训练策略。
• 通过一致的配置和评估协议，在公共数据集（如 Cora、PubMed、DBLP、FB15k-237）上维护集中化、可复现的基准排行榜。

实验结果

研究问题

• RQ1 如何在多种图学习任务中标准化 GNN 的训练与评估，以提升可复现性和公平比较？
• RQ2 哪些设计模式和系统优化能够实现对稀疏、非欧几里得图数据的高效可扩展 GNN 训练？
• RQ3 统一训练框架结合混合精度和优化稀疏算子，在训练效率上相比现有库能有多大提升？
• RQ4 模块化、可扩展的库设计在支持研究实验和工业级 GNN 模型部署方面是否有效？
• RQ5 如何实现跨多种图任务和数据集的可复现且由社区维护的基准测试？

主要发现

• CogDL 通过优化的稀疏算子实现了最先进的训练效率，在处理图结构化数据方面优于标准深度学习框架。
• 结合混合精度训练的统一训练器显著减少了训练时间与内存占用，同时在所有基准任务中保持了模型精度。
• 在 Cora、PubMed 和 DBLP 等数据集上采用标准化评估协议，确保了结果的一致性和可比性，减少了模型性能比较中的模糊性。
• CogDL 维护的排行榜具有可复现性且公开可访问，结果通过固定随机种子和超参数进行验证。
• 该库成功实现了并基准测试了 15 种以上的最先进 GNN 模型，涵盖节点分类、链接预测和知识图谱补全任务。
• CogDL 的模块化设计支持新模型和训练技术的无缝集成，为动态图和自监督学习等未来研究方向提供了支持。