[论文解读] GRecX: An Efficient and Unified Benchmark for GNN-based Recommendation

Desheng Cai, Jun Hu+4 more|arXiv (Cornell University)|Nov 19, 2021

Recommender Systems and Techniques参考文献 17被引用 4

一句话总结

GRecX 是一个开源的 TensorFlow 框架，通过提供针对指标、相似性搜索、小批量评估和数据集管理的优化库，实现了对基于图神经网络（GNN）的推荐模型的高效且统一的基准测试。它引入了一种新指标 GRMF-X，并提供了 NGCF、LightGCN 和 UltraGCN 等流行模型的高性能、可复现的实现，显著提升了推理速度，实现了在不同超参数设置下的公平模型比较。

ABSTRACT

In this paper, we present GRecX, an open-source TensorFlow framework for benchmarking GNN-based recommendation models in an efficient and unified way. GRecX consists of core libraries for building GNN-based recommendation benchmarks, as well as the implementations of popular GNN-based recommendation models. The core libraries provide essential components for building efficient and unified benchmarks, including FastMetrics (efficient metrics computation libraries), VectorSearch (efficient similarity search libraries for dense vectors), BatchEval (efficient mini-batch evaluation libraries), and DataManager (unified dataset management libraries). Especially, to provide a unified benchmark for the fair comparison of different complex GNN-based recommendation models, we design a new metric GRMF-X and integrate it into the FastMetrics component. Based on a TensorFlow GNN library tf_geometric, GRecX carefully implements a variety of popular GNN-based recommendation models. We carefully implement these baseline models to reproduce the performance reported in the literature, and our implementations are usually more efficient and friendly. In conclusion, GRecX enables uses to train and benchmark GNN-based recommendation baselines in an efficient and unified way. We conduct experiments with GRecX, and the experimental results show that GRecX allows us to train and benchmark GNN-based recommendation baselines in an efficient and unified way. The source code of GRecX is available at https://github.com/maenzhier/GRecX.

研究动机与目标

• 解决由于评估实践不一致和计算开销高，导致基于图神经网络的推荐模型缺乏高效且统一的基准测试的问题。
• 通过标准化评估协议，特别是负采样策略和损失函数，实现对基于图神经网络的推荐模型的公平比较。
• 开发高性能、可复现的流行基于图神经网络的推荐模型实现，其性能与报告值相当或更优，同时提升效率。
• 引入 GRMF-X，一种新评估指标，可更有效地验证推荐任务中模型优越性的验证。
• 提供一个统一的开源框架，简化基于图神经网络的推荐模型的训练、评估与基准测试流程。

提出的方法

• 设计并实现核心库：FastMetrics 用于高效指标计算，VectorSearch 用于密集向量上的快速相似性搜索，BatchEval 用于小批量评估，DataManager 用于统一的数据集处理。
• 将 GRMF-X 新指标集成到 FastMetrics 中，以在不同超参数设置下实现更公平的模型比较。
• 使用 TensorFlow 实现流行的基于图神经网络的推荐模型（如 NGCF、LightGCN、UltraGCN base），确保可复现性，并在性能上优于现有官方实现。
• 通过用计算成本更低的替代方法（如用高效算法替代全矩阵乘法以实现 top-K 检索）优化模型推理，降低时间和空间复杂度。
• 在模型间标准化超参数设置，特别是负采样策略（1 个 vs. 800 个负样本）和嵌入维度，以实现公平的基准测试。
• 使用 tf_geometric 作为底层图神经网络库，以确保框架内图神经网络操作的兼容性与高效性。

实验结果

研究问题

• RQ1 如何设计一个高效且统一的基于图神经网络推荐模型的基准测试框架，以最小化计算开销？
• RQ2 所提出的 GRMF-X 指标在多大程度上提升了基于图神经网络推荐中模型比较的公平性与有效性？
• RQ3 与 RecBole 和原始代码库等现有实现相比，GRecX 框架是否能在推理速度和训练效率方面表现更优？
• RQ4 在统一基准中对所有模型标准化负采样策略和损失函数后，这些因素对模型性能的影响如何？
• RQ5 GRecX 优化后的实现能够在多大程度上复现或超越文献中基线模型的报告性能？

主要发现

• GRecX 显著提升了推理效率：在 GRecX 中实现的 LightGCN 在 Yelp2018 和 Gowalla 数据集上均比 RecBole 和原始代码实现具有更快的推理时间。
• GRMF-X 指标能够更有效地验证模型优越性，揭示在公平条件下，MF 和 MLP+MF 模型在某些设置下优于 NGCF 和 LightGCN。
• 当使用相同的负采样策略（1 个负样本）时，LightGCN 的性能优于 UltraGCN base_s，表明先前研究中性能差异可能源于超参数不平衡，而非模型架构本身。
• NGCF、LightGCN 和 UltraGCN base 在 GRecX 中的优化实现达到了与原始报告相当或更优的性能，同时效率更高且更易于复现。
• 标准化超参数——特别是负采样和嵌入维度——揭示出在某些情况下，MF 和 MLP+MF 模型可超越复杂 GNN 模型，挑战了 GNN 优越性的既有假设。
• 该框架实现了在多样化模型间的一致且可复现的基准测试，实验结果详见 https://github.com/maenzhier/GRecX。