[论文解读] GAN-based Recommendation with Positive-Unlabeled Sampling

Yao Zhou, Jianpeng Xu+5 more|arXiv (Cornell University)|Dec 12, 2020

Advanced Image and Video Retrieval Techniques参考文献 41被引用 5

一句话总结

本文提出 PURE，一种基于 GAN 的推荐框架，采用正样本-未标记样本（PU）学习来解决将未标记的用户-物品交互视为负样本这一局限性。通过使用无偏 PU 风险估计器训练判别器，并在嵌入空间中实现连续采样，PURE 学习到用户和物品的真实潜在分布，在三个基准数据集上八个排序指标上均达到最先进性能。

ABSTRACT

Recommender systems are popular tools for information retrieval tasks on a large variety of web applications and personalized products. In this work, we propose a Generative Adversarial Network based recommendation framework using a positive-unlabeled sampling strategy. Specifically, we utilize the generator to learn the continuous distribution of user-item tuples and design the discriminator to be a binary classifier that outputs the relevance score between each user and each item. Meanwhile, positive-unlabeled sampling is applied in the learning procedure of the discriminator. Theoretical bounds regarding positive-unlabeled sampling and optimalities of convergence for the discriminators and the generators are provided. We show the effectiveness and efficiency of our framework on three publicly accessible data sets with eight ranking-based evaluation metrics in comparison with thirteen popular baselines.

研究动机与目标

• 解决传统推荐系统中将未标记用户-物品交互视为负样本的 flawed 假设，该假设可能扭曲真实的关联度分布。
• 将协同过滤公式化为正样本-未标记样本（PU）学习问题，以更好地反映现实世界数据中未标记交互可能为正或负的情况。
• 开发一种基于 GAN 的框架，通过连续采样学习用户和物品嵌入的连续分布，避免先前基于 GAN 方法中离散采样的局限性。
• 通过证明更紧的估计误差界并利用非负风险估计减少过拟合，从理论上证明 PU 学习在深度模型中的适用性。
• 在真实世界数据集上展示 PURE 的有效性和效率，其在多个排序指标上优于 13 种强基线方法。

提出的方法

• 提出一种 GAN 框架，其中生成器学习嵌入空间中用户-物品元组的连续分布，从而实现对虚假用户和物品嵌入的平滑且富有表现力的生成。
• 将判别器设计为二分类器，输出用户与物品之间的相关性得分，使用带有无偏风险估计器的 PU 学习目标进行训练。
• 对未标记数据的经验风险应用非负算子，以防止出现负风险值，并通过 Kiryo 等人（2017）的方法减少灵活深度模型中的过拟合。
• 在嵌入空间中对用户和物品均引入连续采样，提升生成器的表达能力，并更好地建模现实世界中的稀疏数据。
• 生成器与判别器通过极小化极大博弈进行联合训练：生成器旨在生成逼真的虚假用户-物品对，而判别器则通过 PU 学习提升泛化能力，以区分真实与虚假样本。
• 理论分析表明，当未标记样本数量有下界时，PU 学习的估计误差界比 PN 学习更紧，而这一条件在稀疏推荐数据中通常成立。

实验结果

研究问题

• RQ1 PU 学习能否通过避免将未标记交互视为负样本的假设，提升推荐系统中深度生成模型的性能？
• RQ2 在 PU 学习中使用非负风险估计器，如何影响深度神经网络在推荐任务中的泛化能力和收敛性？
• RQ3 在嵌入空间中对用户和物品均进行连续采样，在多大程度上提升了基于 GAN 的推荐系统的表达能力和性能？
• RQ4 PURE 在真实世界稀疏数据集上是否优于现有的基于 GAN 和非 GAN 的基线方法？
• RQ5 在现实世界数据稀疏性条件下，PU 学习的估计误差界是否比 PN 学习更紧？

主要发现

• PURE 在三个公开数据集上，于八个基于排序的评估指标上均优于 13 种最先进基线方法，展现出卓越的有效性和效率。
• 理论分析证实，当未标记样本数量有下界时，PU 学习的估计误差界比 PN 学习更紧，这一条件在真实世界稀疏推荐数据中成立。
• 在 PU 学习中使用非负风险估计器能有效减少深度模型中的过拟合，从而实现灵活神经网络在推荐场景下的稳定训练。
• 在嵌入空间中对用户和物品均进行连续采样，显著提升了生成器对真实潜在分布的建模能力，优于仅采样物品或使用离散采样的方法。
• 实证结果表明，PURE 在 NDCG、MAP 和 Recall@K 等多个指标上均实现一致提升，表明其在个性化排序任务中的鲁棒性能。
• 该框架在低数据场景下尤为有效，此时负采样假设的局限性最为显著，验证了 PU 学习在真实世界推荐系统中的必要性。