[论文解读] Fast Matrix Factorization for Online Recommendation with Implicit Feedback

Xiangnan He, Hanwang Zhang+2 more|arXiv (Cornell University)|Aug 16, 2017

Recommender Systems and Techniques参考文献 24被引用 6

一句话总结

该论文提出 eALS，一种用于隐式反馈在线推荐的快速矩阵分解算法，通过基于物品受欢迎程度对缺失数据进行加权，实现高效优化与实时增量更新。该方法在离线和在线设置下均优于最先进方法，有效建模用户偏好，且无需采用均匀加权或学习率调优。

ABSTRACT

This paper contributes improvements on both the effectiveness and efficiency of Matrix Factorization (MF) methods for implicit feedback. We highlight two critical issues of existing works. First, due to the large space of unobserved feedback, most existing works resort to assign a uniform weight to the missing data to reduce computational complexity. However, such a uniform assumption is invalid in real-world settings. Second, most methods are also designed in an offline setting and fail to keep up with the dynamic nature of online data. We address the above two issues in learning MF models from implicit feedback. We first propose to weight the missing data based on item popularity, which is more effective and flexible than the uniform-weight assumption. However, such a non-uniform weighting poses efficiency challenge in learning the model. To address this, we specifically design a new learning algorithm based on the element-wise Alternating Least Squares (eALS) technique, for efficiently optimizing a MF model with variably-weighted missing data. We exploit this efficiency to then seamlessly devise an incremental update strategy that instantly refreshes a MF model given new feedback. Through comprehensive experiments on two public datasets in both offline and online protocols, we show that our eALS method consistently outperforms state-of-the-art implicit MF methods. Our implementation is available at https://github.com/hexiangnan/sigir16-eals.

研究动机与目标

• 为解决隐式反馈矩阵分解中对缺失数据采用均匀加权的局限性，该方法可避免低估不受欢迎物品的信息量。
• 开发一种高效优化算法，可在不牺牲速度的前提下处理非均匀加权的缺失数据。
• 通过设计针对动态用户-物品交互的增量更新策略，实现真正的实时在线学习。
• 消除梯度方法在在线矩阵分解中普遍存在的学习率调优瓶颈。
• 通过自适应加权新反馈，平衡用户短期与长期兴趣，提升推荐质量。

提出的方法

• 提出一种基于受欢迎程度的加权方案，将缺失条目赋予与物品受欢迎程度成比例的权重，反映其为真实负样本的可能性。
• 设计 eALS（逐元素交替最小二乘法），一种基于坐标下降的算法，利用记忆化技术实现每次更新 O(K) 的时间复杂度，其中 K 为潜在因子数量。
• 引入一种增量更新机制，可在新反馈到达时高效更新模型参数，实现实时适应。
• 通过在每个坐标更新步骤中使用精确最小二乘解，消除学习率超参数，避免昂贵的线搜索过程。
• 将 eALS 框架扩展为支持通过可调参数 $w_{\text{new}}$ 对新交互进行动态加权，以平衡用户短期与长期偏好。
• 采用对用户和物品因子的坐标下降方法，更新公式为闭式解，计算高效且可扩展。

实验结果

研究问题

• RQ1 基于物品受欢迎程度对缺失数据进行非均匀加权，是否能提升隐式反馈场景下矩阵分解模型的准确性？
• RQ2 能否设计一种高效优化算法，在不引入显著计算开销的前提下处理可变权重的缺失数据？
• RQ3 所提出的 eALS 算法是否支持在线推荐系统中的实时增量更新？
• RQ4 eALS 是否能在离线和在线推荐基准测试中均优于现有最先进方法？
• RQ5 对新反馈的自适应加权如何影响用户短期与长期兴趣的建模？

主要发现

• eALS 每次更新的时间复杂度为 O(K)，比标准 ALS 快 K 倍，与动态 MF 方法相当，支持实时部署。
• 在在线学习中，eALS 在 Amazon 和 Yelp 数据集上均持续优于 RCD 和 BPR，且性能提升具有统计显著性（p < 0.001）。
• 冷启动用户在首次交互后模型性能显著提升，表明对稀疏用户反馈具有有效适应能力。
• 当新交互权重 ($w_{\text{new}}$) 设定在约 4 时达到最优性能，表明短期与长期用户偏好之间达到良好平衡。
• 基于受欢迎程度的加权方案相比均匀加权，能更优地表征用户偏好，尤其在高可见度但点击率低的物品上表现更佳。
• eALS 对数据稀疏性具有鲁棒性，能通过快速适应新用户交互，有效缓解冷启动问题。