[论文解读] Diffusion Augmentation for Sequential Recommendation

Qidong Liu, Fan Yan+5 more|arXiv (Cornell University)|Sep 22, 2023

Recommender Systems and TechniquesComputer Science被引用 3

一句话总结

本文提出 DiffuASR，一种基于扩散模型的新型序列推荐数据增强框架，通过生成高质量、偏好感知的物品序列，缓解数据稀疏性和长尾用户问题。通过将序列 U-Net 适配于离散序列生成，并采用两种引导策略实现偏好对齐，DiffuASR 生成的增强数据可直接提升 SRS 模型性能，无需复杂训练流程，在三个数据集和多种模型上均表现出一致的性能提升。

ABSTRACT

Sequential recommendation (SRS) has become the technical foundation in many applications recently, which aims to recommend the next item based on the user's historical interactions. However, sequential recommendation often faces the problem of data sparsity, which widely exists in recommender systems. Besides, most users only interact with a few items, but existing SRS models often underperform these users. Such a problem, named the long-tail user problem, is still to be resolved. Data augmentation is a distinct way to alleviate these two problems, but they often need fabricated training strategies or are hindered by poor-quality generated interactions. To address these problems, we propose a Diffusion Augmentation for Sequential Recommendation (DiffuASR) for a higher quality generation. The augmented dataset by DiffuASR can be used to train the sequential recommendation models directly, free from complex training procedures. To make the best of the generation ability of the diffusion model, we first propose a diffusion-based pseudo sequence generation framework to fill the gap between image and sequence generation. Then, a sequential U-Net is designed to adapt the diffusion noise prediction model U-Net to the discrete sequence generation task. At last, we develop two guide strategies to assimilate the preference between generated and origin sequences. To validate the proposed DiffuASR, we conduct extensive experiments on three real-world datasets with three sequential recommendation models. The experimental results illustrate the effectiveness of DiffuASR. As far as we know, DiffuASR is one pioneer that introduce the diffusion model to the recommendation.

研究动机与目标

• 解决序列推荐系统中数据稀疏性和长尾用户问题的双重挑战。
• 克服现有数据增强方法在生成序列质量差或需要复杂训练流程方面的局限性。
• 利用扩散模型在离散序列数据上的生成能力，这是推荐系统中的一项新颖应用。
• 设计一种序列感知的扩散框架，在生成合理下一物品的同时保留用户偏好。
• 通过确保生成序列的高质量和语义连贯性，实现 SRS 模型对增强数据的直接训练，无需修改其训练流程。

提出的方法

• 提出一种基于扩散模型的伪序列生成框架，弥合图像生成与序列生成在扩散模型中的差距。
• 设计一种序列 U-Net 架构，将 U-Net 结构适配于离散序列噪声预测，捕捉交互序列中的长距离依赖关系。
• 引入两种引导策略——偏好引导和序列引导——利用无分类器指导，使生成序列与用户历史偏好的对齐。
• 端到端训练扩散模型，以生成合理、多样且偏好一致的物品序列，适用于短交互历史。
• 将生成序列作为额外训练数据，用于微调标准 SRS 模型，而无需修改其训练流程。
• 通过利用扩散模型的强大建模能力并最小化与真实序列的分布偏移，确保高质量生成。

实验结果

研究问题

• RQ1 扩散模型能否被有效适配于生成推荐系统中高质量的离散序列数据？
• RQ2 在生成增强序列时，如何保留用户历史序列的偏好？
• RQ3 通过扩散生成进行数据增强是否能提升序列推荐中数据稀疏和长尾用户场景下的性能？
• RQ4 不同引导策略如何影响生成序列的质量和相关性？
• RQ5 增强数据能否在无需复杂迭代或微调训练流程的情况下，直接用于 SRS 模型训练？

主要发现

• DiffuASR 在三个真实世界数据集（Beauty、Sports 和 Taobao）上显著提升了序列推荐性能。
• 该方法在所有三个基准 SRS 模型（Bert4Rec、SASRec 和 TransRec）上均取得一致性能提升，证明了其泛化能力。
• 长尾用户（定义为历史交互少于 10 次的用户）表现出最显著的性能提升，证实了该方法在稀疏用户场景下的有效性。
• 每条序列的增强物品数量对模型性能有显著影响，最优增益出现在中等增强水平。
• 所提出的引导策略显著提升了生成物品的相关性，减少了分布偏移，并增强了与用户偏好的对齐。
• 消融实验表明，序列 U-Net 和引导机制对高质量序列生成及下游推荐准确率均至关重要。