[论文解读] Recent Advances in RecBole: Extensions with more Practical Considerations

Lanling Xu, Zhen Tian+11 more|arXiv (Cornell University)|Nov 28, 2022

Machine Learning in Healthcare被引用 6

一句话总结

本文针对推荐系统研究中的灵活性、效率和可复现性需求，对开源推荐库RecBole进行了显著改进，重点包括灵活的数据处理、通过多GPU和混合精度训练提升的训练效率、基于基准数据集和超参数范围的可复现配置，以及全面的文档支持。这些更新显著提升了研究人员在推荐系统领域的易用性、可扩展性和可复现性。

ABSTRACT

RecBole has recently attracted increasing attention from the research community. As the increase of the number of users, we have received a number of suggestions and update requests. This motivates us to make some significant improvements on our library, so as to meet the user requirements and contribute to the research community. In order to show the recent update in RecBole, we write this technical report to introduce our latest improvements on RecBole. In general, we focus on the flexibility and efficiency of RecBole in the past few months. More specifically, we have four development targets: (1) more flexible data processing, (2) more efficient model training, (3) more reproducible configurations, and (4) more comprehensive user documentation. Readers can download the above updates at: https://github.com/RUCAIBox/RecBole.

研究动机与目标

• 应对用户对推荐系统研究中灵活性、效率和可复现性不断提升的需求。
• 解决研究社区普遍反馈的数据处理、模型训练和配置管理中的常见痛点。
• 通过更好的文档和标准化基准测试，提升RecBole对新手和资深研究人员的易用性。
• 通过分布式训练和超参数调优改进，支持大规模推荐工作负载。
• 通过提供精心整理的配置文件和搜索范围，确保在不同模型和数据集之间结果的一致性和可复现性。

提出的方法

• 基于PyTorch API重构数据模块，以提升在多种推荐任务中的兼容性和可扩展性。
• 实现任务特定的数据转换，包括序列建模支持、特征离散化和知识图谱过滤。
• 在采样模块中引入动态和静态负采样，以支持多样化的训练策略。
• 支持多GPU训练与评估、混合精度训练，以及智能超参数调优，加快模型收敛速度。
• 提供13个新处理过的数据集，并统一原子文件格式，提升数据一致性和可重用性。
• 发布8个子包在三种基准数据集上四种推荐类型的标准超参数调优范围和推荐配置。

实验结果

研究问题

• RQ1 推荐库如何通过灵活处理多种推荐任务中的多样化数据处理流程来提升灵活性？
• RQ2 哪些技术策略能显著提升大规模推荐模型的训练效率？
• RQ3 如何通过标准化配置和基准数据集提升推荐研究的可复现性？
• RQ4 全面的文档和用户引导在多大程度上降低了新用户的入门门槛？
• RQ5 社区贡献和开放开发在维持和推动面向研究的开源库持续演进中发挥什么作用？

主要发现

• 更新后的数据模块支持基于PyTorch管道的灵活、面向任务的数据处理，可无缝集成序列建模、上下文感知建模和知识感知建模。
• 多GPU训练和混合精度训练显著缩短了训练时间，并提升了在大规模交互数据集上的可扩展性。
• 新增的13个处理过的数据集和统一的原子文件格式，确保了实验间数据输入的一致性和可靠性。
• 可复现的配置（包括超参数搜索范围和推荐设置）使得在不同模型和数据集之间进行公平、一致的模型比较成为可能。
• 增强的文档（包括详细教程和多GPU训练示例）显著改善了用户上手体验和易用性。
• 该库在GitHub上的关注数接近2,300颗星，分支数达425个，已解决超过400个问题，反映出强烈的社区参与和广泛采用。