[论文解读] Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation

Ziwei Fan, Zhiwei Liu+3 more|arXiv (Cornell University)|Jun 11, 2021

Recommender Systems and Techniques参考文献 28被引用 5

一句话总结

该论文提出DT4SR，一种基于分布的Transformer模型，用于序列推荐，通过将物品和序列建模为椭球正态分布来捕捉用户兴趣中的不确定性。通过使用专门的Transformer学习动态的均值和协方差表示，并采用Wasserstein距离进行排序，DT4SR显著优于当前最先进方法，尤其在冷启动场景下表现突出，在三个数据集上的平均性能提升分别为Recall@1提升19.9%，NDCG@5提升10.8%。

ABSTRACT

The sequential patterns within the user interactions are pivotal for representing the user's preference and capturing latent relationships among items. The recent advancements of sequence modeling by Transformers advocate the community to devise more effective encoders for the sequential recommendation. Most existing sequential methods assume users are deterministic. However, item-item transitions might fluctuate significantly in several item aspects and exhibit randomness of user interests. This extit{stochastic characteristics} brings up a solid demand to include uncertainties in representing sequences and items. Additionally, modeling sequences and items with uncertainties expands users' and items' interaction spaces, thus further alleviating cold-start problems. In this work, we propose a Distribution-based Transformer for Sequential Recommendation (DT4SR), which injects uncertainties into sequential modeling. We use Elliptical Gaussian distributions to describe items and sequences with uncertainty. We describe the uncertainty in items and sequences as Elliptical Gaussian distribution. And we adopt Wasserstein distance to measure the similarity between distributions. We devise two novel Trans-formers for modeling mean and covariance, which guarantees the positive-definite property of distributions. The proposed method significantly outperforms the state-of-the-art methods. The experiments on three benchmark datasets also demonstrate its effectiveness in alleviating cold-start issues. The code is available inhttps://github.com/DyGRec/DT4SR.

研究动机与目标

• 为解决序列推荐中确定性用户偏好建模的局限性，其中物品转移具有固有的随机性。
• 通过基于分布的表示扩展用户与物品的交互空间，缓解冷启动问题。
• 开发一种可微分框架，同时建模物品和序列表示的均值与协方差，并确保协方差矩阵为正定。
• 通过使用Wasserstein距离而非点积注意力来度量分布之间的相似性，从而提升推荐准确性。
• 展示不确定性感知建模在捕捉现实世界序列数据中动态变化和波动的用户兴趣方面的优越性。

提出的方法

• 将物品和序列表示为椭球正态分布，其中均值捕捉中心趋势，协方差编码用户兴趣中的不确定性。
• 引入两种新型Transformer架构——一种用于学习均值表示，另一种用于学习协方差表示——两者均设计为保持协方差矩阵的正定性。
• 采用基于Wasserstein距离的度量学习框架，用于度量预测下一物品分布与候选物品分布之间的相似性，以实现排序。
• 通过Cholesky分解对协方差矩阵进行可微分参数化，以在优化过程中确保其正定性。
• 将Transformer中的自注意力机制适配为作用于分布嵌入而非点嵌入，从而实现对序列上不确定性动态建模。
• 采用双分支架构，使均值分支与协方差分支联合训练，以捕捉随时间演变的中心偏好及其变异性。

实验结果

研究问题

• RQ1 与确定性的点嵌入相比，将用户序列建模为带有不确定性的概率分布是否能提升序列推荐性能？
• RQ2 在物品和序列表示中引入不确定性，是否能增强模型处理冷启动用户和物品的能力？
• RQ3 在基于分布的推荐中，使用Wasserstein距离替代传统点积注意力对排序的影响如何？
• RQ4 双Transformer架构能否有效学习均值与协方差的动态变化，同时保持协方差矩阵的正定性？
• RQ5 与当前最先进基线相比，所提方法在不同序列长度和冷启动条件下表现如何？

主要发现

• 在Amazon Toys数据集上，DT4SR在Recall@1上相比第二好的基线模型实现了32.4%的相对提升，所有指标的平均增益为19.9%。
• 在Amazon Games数据集上，DT4SR在Recall@1上实现11.4%的相对提升，在MRR上实现8.4%的提升，表明在不同数据分布下均具有一致的性能增益。
• 对于仅有一次交互的用户（极端冷启动），DT4SR在Recall@5上相比SASRec实现9%的相对提升，凸显其在低数据场景下的有效性。
• 对于仅有一次交互的冷启动物品，DT4SR在Toys数据集上Recall@5实现100%的相对提升，在Games数据集上实现超过50%的提升。
• 模型在高频物品上仍保持强劲性能，表明不确定性建模不会损害对高资源用户和物品的推荐表现。
• 消融实验确认，均值分支与协方差分支均对性能有显著贡献，其中协方差分支在处理不确定性与冷启动场景中尤为有效。