[论文解读] An Adaptive Graph Pre-training Framework for Localized Collaborative Filtering

Yiqi Wang, Chaozhuo Li+6 more|arXiv (Cornell University)|Dec 14, 2021

Recommender Systems and Techniques被引用 6

一句话总结

本文提出 ADAPT，一种用于局部协同过滤的自适应图预训练框架，解决了基于 GNN 的推荐系统中的数据稀疏性问题。通过引入元-LGNN 以无需学习全局嵌入的方式编码局部用户-物品结构，并引入 GNN 适配器为每个图个性化预训练知识，ADAPT 有效实现了跨图的通用模式迁移，同时保留了图特有的特征，显著提升了稀疏数据上的推荐性能。

ABSTRACT

Graph neural networks (GNNs) have been widely applied in the recommendation tasks and have obtained very appealing performance. However, most GNN-based recommendation methods suffer from the problem of data sparsity in practice. Meanwhile, pre-training techniques have achieved great success in mitigating data sparsity in various domains such as natural language processing (NLP) and computer vision (CV). Thus, graph pre-training has the great potential to alleviate data sparsity in GNN-based recommendations. However, pre-training GNNs for recommendations face unique challenges. For example, user-item interaction graphs in different recommendation tasks have distinct sets of users and items, and they often present different properties. Therefore, the successful mechanisms commonly used in NLP and CV to transfer knowledge from pre-training tasks to downstream tasks such as sharing learned embeddings or feature extractors are not directly applicable to existing GNN-based recommendations models. To tackle these challenges, we delicately design an adaptive graph pre-training framework for localized collaborative filtering (ADAPT). It does not require transferring user/item embeddings, and is able to capture both the common knowledge across different graphs and the uniqueness for each graph. Extensive experimental results have demonstrated the effectiveness and superiority of ADAPT.

研究动机与目标

• 为解决基于 GNN 的推荐系统中用户-物品交互图稀疏时持续存在的数据稀疏性挑战。
• 设计一种预训练框架，能够将知识从多个源图有效迁移至下游目标推荐图。
• 通过为图结构化推荐数据量身定制的方法，克服 NLP 和 CV 领域现有预训练方法依赖共享词汇表或特征的局限。
• 实现在无需跨图共享用户或物品嵌入的前提下实现知识迁移，这在现实推荐场景中极为常见。
• 开发一种灵活且自适应的机制，以同时捕捉图之间的通用模式与各图特有的结构属性。

提出的方法

• 提出一种元-LGNN（局部图神经网络），直接从用户-物品对的局部邻域编码协同过滤信号，避免学习全局用户和物品嵌入。
• 采用基于用户-物品交互模式的新型节点标记策略，以表示用于预训练的局部图结构。
• 引入 GNN 适配器模块，通过将预训练模型适配至目标图的特定结构，为每个下游图微调元-LGNN。
• 使用嵌入重建作为预训练目标，使冷启动用户和物品也能从学习到的表示中受益，即使没有历史交互记录。
• 利用多个独立的用户-物品交互图进行预训练，使模型能够学习到通用且可适应的表示。
• 设计两阶段训练流程：首先在源图上预训练元-LGNN，然后通过 GNN 适配器对目标图进行微调。

实验结果

研究问题

• RQ1 图预训练能否有效缓解基于 GNN 的推荐系统中的数据稀疏性问题？
• RQ2 如何在无共享用户或物品的多个用户-物品交互图之间实现知识迁移？
• RQ3 能否设计一种预训练框架，以同时保留通用结构模式与图特异性特征？
• RQ4 是否可能设计一种无需依赖共享嵌入或特征提取器（如 NLP 和 CV 中的做法）的 GNN 模型预训练方法？
• RQ5 所提出的自适应框架在稀疏数据上的性能与鲁棒性方面，相较于现有基于 GNN 的推荐模型表现如何？

主要发现

• 与最先进基于 GNN 的模型相比，ADAPT 在稀疏用户-物品交互图上显著提升了推荐性能。
• 所提出的元-LGNN 通过在不学习全局用户和物品嵌入的前提下编码局部协同过滤信号，实现了更好的泛化能力。
• GNN 适配器实现了对预训练知识在个体下游图上的有效个性化，提升了对目标图特定结构的适应能力。
• 通过嵌入重建进行预训练，使冷启动用户和物品即使在无历史交互的情况下也能获得有意义的表示。
• 大量实验表明，ADAPT 在多个基准数据集上优于现有方法，尤其在低数据场景下表现更优。
• 消融实验确认，元-LGNN 和 GNN 适配器均为关键组件，二者均对整体性能提升有显著贡献。