[论文解读] DiffuRec: A Diffusion Model for Sequential Recommendation

Zihao Li, Aixin Sun+1 more|arXiv (Cornell University)|Apr 3, 2023

Recommender Systems and Techniques被引用 22

一句话总结

DiffuRec 将扩散模型应用于序列推荐，通过将物品和用户兴趣表示为分布，使用基于 Transformer 的近似器重建目标物品表示，并进行逆扩散过程进行推理。

ABSTRACT

Mainstream solutions to Sequential Recommendation (SR) represent items with fixed vectors. These vectors have limited capability in capturing items' latent aspects and users' diverse preferences. As a new generative paradigm, Diffusion models have achieved excellent performance in areas like computer vision and natural language processing. To our understanding, its unique merit in representation generation well fits the problem setting of sequential recommendation. In this paper, we make the very first attempt to adapt Diffusion model to SR and propose DiffuRec, for item representation construction and uncertainty injection. Rather than modeling item representations as fixed vectors, we represent them as distributions in DiffuRec, which reflect user's multiple interests and item's various aspects adaptively. In diffusion phase, DiffuRec corrupts the target item embedding into a Gaussian distribution via noise adding, which is further applied for sequential item distribution representation generation and uncertainty injection. Afterward, the item representation is fed into an Approximator for target item representation reconstruction. In reverse phase, based on user's historical interaction behaviors, we reverse a Gaussian noise into the target item representation, then apply a rounding operation for target item prediction. Experiments over four datasets show that DiffuRec outperforms strong baselines by a large margin.

研究动机与目标

• 将物品建模为分布而非固定向量，以捕捉物品的多重潜在方面。
• 将用户兴趣建模为分布，以反映偏好中的多样性和不确定性。
• 将目标物品引导融合入历史物品表示生成，以提高推荐质量。
• 利用扩散与逆过程实现鲁棒训练和迭代推理。
• 在真实世界的 SR 数据集上展示相对于强基线的卓越性能。

提出的方法

• 将目标物品表示为分布，并在扩散阶段用高斯噪声对其进行扰动。
• 使用基于 Transformer 的近似器，从历史项的分布表示重建目标物品表示。
• 在逆阶段，迭代地逆向高斯噪声以估计目标物品表示，并应用四舍五入运算来预测下一个物品。
• 采用截断的线性噪声日程用于扩散，并使用重新加权的简单损失来稳定训练。
• 加入阶段嵌入和通过 lambda 的分布信号扰动，以注入不确定性并适应用户兴趣。
• 在四个真实世界数据集上进行评估并与九个强基线进行比较。

实验结果

研究问题

• RQ1 扩散模型能否有效表示序列推荐中的多潜在物品维度和多兴趣用户动态？
• RQ2 通过扩 diffusion 引入目标物品引导是否能提升历史物品表示学习和下一个物品的预测？
• RQ3 在扩散下，基于 Transformer 的近似器能否从带噪声的分布表示中重建目标物品表示？
• RQ4 与强基线在真实世界数据集上的 DiffuRec 表现如何？
• RQ5 扩散参数和不确定性建模对推荐质量有何影响？

主要发现

• DiffuRec 在四个真实世界数据集上对九个强基线实现显著领先。
• 将物品和用户偏好建模为分布使其能够捕捉多重潜在方面和多样化的兴趣。
• 将目标物品引导融入历史物品表示提升了重建和预测。
• 带不确定性注入的扩散框架增强了鲁棒性和表示学习。
• 基于 Transformer 的近似器在训练和推理阶段有效地从分布表示重建目标物品表示。