[论文解读] Temporal Matrix Factorization for Tracking Concept Drift in Individual User Preferences

Yung-Yin Lo, Wanjiun Liao+1 more|arXiv (Cornell University)|Oct 18, 2015

Recommender Systems and Techniques参考文献 29被引用 4

一句话总结

本文提出时间矩阵分解（TMF），一种新颖方法，通过使用改进的随机梯度下降学习随时间变化的用户潜在向量，并利用套索回归建模转换过程，实现对个体用户偏好漂移的追踪。TMF在合成数据上实现高达26%的RMSE降低，在Ciao数据集上实现5%的提升，主要受益于实际发生偏好漂移的用户。

ABSTRACT

The matrix factorization (MF) technique has been widely adopted for solving the rating prediction problem in recommender systems. The MF technique utilizes the latent factor model to obtain static user preferences (user latent vectors) and item characteristics (item latent vectors) based on historical rating data. However, in the real world user preferences are not static but full of dynamics. Though there are several previous works that addressed this time varying issue of user preferences, it seems (to the best of our knowledge) that none of them is specifically designed for tracking concept drift in individual user preferences. Motivated by this, we develop a Temporal Matrix Factorization approach (TMF) for tracking concept drift in each individual user latent vector. There are two key innovative steps in our approach: (i) we develop a modified stochastic gradient descent method to learn an individual user latent vector at each time step, and (ii) by the Lasso regression we learn a linear model for the transition of the individual user latent vectors. We test our method on a synthetic dataset and several real datasets. In comparison with the original MF, our experimental results show that our temporal method is able to achieve lower root mean square errors (RMSE) for both the synthetic and real datasets. One interesting finding is that the performance gain in RMSE is mostly from those users who indeed have concept drift in their user latent vectors at the time of prediction. In particular, for the synthetic dataset and the Ciao dataset, there are quite a few users with that property and the performance gains for these two datasets are roughly 20% and 5%, respectively.

研究动机与目标

• 解决静态矩阵分解在推荐系统中难以捕捉随时间变化的用户偏好这一局限性。
• 开发一种系统化方法，用于建模个体用户随时间的偏好演化，特别是概念漂移。
• 通过在每个时间步动态调整用户潜在向量，降低稀疏动态环境中的评分预测误差。
• 识别并集中计算资源于实际表现出偏好漂移的用户，提升效率。
• 为现有动态MF方法提供一种结构化替代方案，避免大量超参数调优。

提出的方法

• 使用改进的随机梯度下降（SGD）在每个时间步学习个体用户潜在向量，结合全局和时间特定的评分数据，缓解数据稀疏性问题。
• 应用套索回归建模每个用户潜在向量在时间步之间的线性转换，实现稀疏且可解释的转换模式。
• 联合优化用户和物品潜在因子，同时在每个时间窗口动态更新用户向量，保留时间动态特性。
• 按用户独立学习转换模型，实现对概念漂移的个性化追踪，无需假设统一的转换行为。
• 将该方法集成到矩阵分解框架中，在保持可扩展性的同时，为标准MF引入时间适应能力。
• 运行时分析证实该方法效率较高，在MATLAB中实现时额外开销与标准MF相当。

实验结果

研究问题

• RQ1 动态矩阵分解方法能否有效追踪个体用户偏好随时间的概念漂移？
• RQ2 TMF在合成数据和真实世界数据集上的RMSE表现与静态矩阵分解相比如何？
• RQ3 性能提升在多大程度上与用户实际偏好漂移相关？
• RQ4 该方法能否高效识别并聚焦于经历概念漂移的用户，从而提升预测准确性？
• RQ5 该方法如何处理单个时间步的数据稀疏性，特别是对评分较少的用户？

主要发现

• 与标准矩阵分解相比，TMF在合成数据集上实现了17%-26%的RMSE相对降低。
• 在Ciao数据集上，TMF将RMSE降低了约5%，且性能增益集中于实际发生偏好漂移的用户。
• RMSE提升的大部分归因于表现出真实偏好漂移的用户，表明该方法能有效聚焦于动态用户。
• 未发生漂移（身份转换矩阵）的用户对性能增益贡献甚微，表明可通过过滤此类用户优化方法。
• 该方法保持计算可行性，MATLAB实现中运行时开销与标准MF相当。
• 冷启动用户对物品潜在因子估计有显著贡献，表明其早期评分对提升其他用户预测性能具有价值。