[论文解读] Incremental Factorization Machines for Persistently Cold-starting Online Item Recommendation

Takuya Kitazawa|arXiv (Cornell University)|Jul 11, 2016

Recommender Systems and Techniques参考文献 9被引用 9

一句话总结

本文提出增量因子分解机（iFMs），一种在线学习框架，将静态因子分解机扩展至处理动态在线物品推荐中的持续冷启动问题。通过支持仅正样本反馈的实时参数更新与自适应正则化，iFMs 在用户偏好变化和临时物品场景下，相较于静态模型与增量矩阵分解，实现了更优的准确性。

ABSTRACT

Real-world item recommenders commonly suffer from a persistent cold-start problem which is caused by dynamically changing users and items. In order to overcome the problem, several context-aware recommendation techniques have been recently proposed. In terms of both feasibility and performance, factorization machine (FM) is one of the most promising methods as generalization of the conventional matrix factorization techniques. However, since online algorithms are suitable for dynamic data, the static FMs are still inadequate. Thus, this paper proposes incremental FMs (iFMs), a general online factorization framework, and specially extends iFMs into an online item recommender. The proposed framework can be a promising baseline for further development of the production recommender systems. Evaluation is done empirically both on synthetic and real-world unstable datasets.

研究动机与目标

• 解决现实推荐系统中用户与物品随时间频繁变化所导致的持续冷启动问题。
• 克服静态因子分解机（FMs）与矩阵分解（MF）在处理动态演化用户偏好与物品属性方面的局限性。
• 开发一种在线学习框架，支持低延迟、高适应性的增量模型更新，以应对概念漂移。
• 在保持生产系统计算可行性的前提下，利用灵活的特征表示实现上下文感知的推荐。

提出的方法

• 通过将在线学习方案推广至高维稀疏特征向量，将增量矩阵分解（iMF）扩展至因子分解机器（FMs）。
• 仅基于正样本反馈事件应用随机梯度下降（SGD）的一轮学习，实现快速、增量式的参数更新。
• 引入增量自适应正则化，使正则化参数在在线训练过程中自动调整，防止过拟合。
• 使用复合向量表示用户与物品特征，包括ID、人口统计、物品、类型、时间等特征（如星期几、最近评分日期）。
• 利用因子分解机器模型通过潜在向量的内积计算预测结果，显式建模特征间的两两交互作用。
• 使用在线SGD优化FM目标函数，结合学习率调度与L2正则化，确保在流数据下的收敛性与稳定性。

实验结果

研究问题

• RQ1 因子分解机器的在线扩展是否能有效应对现实推荐系统中的持续冷启动问题？
• RQ2 在概念漂移条件下，增量FM（iFM）相较于静态FM与增量MF（iMF）在推荐准确性方面表现如何？
• RQ3 在动态推荐场景中，丰富的特征表示所实现的上下文感知建模在多大程度上提升了性能？
• RQ4 在在线推荐系统中，模型表达能力（上下文感知）与计算效率之间存在何种权衡？
• RQ5 自适应正则化是否能提升增量学习在流式环境中的模型鲁棒性？

主要发现

• 在ML100k数据集上，iFMs在平均精确率-召回率（MPR）方面显著优于静态FMs与iMFs，其中iFMs达到MPR 34.26（±1.429），而iMF仅为30.12。
• 在模拟物品侧冷启动的合成点击数据上，iFMs在广告规则变更后仍保持高召回率，而静态模型则急剧下降，表明其对概念漂移具有强大适应能力。
• iFMs实现每用户至少30毫秒的推荐延迟，参数更新时间在毫秒级，满足实际部署需求。
• 尽管计算成本高于MF（超过100倍慢），但由于高效的在线学习与增量更新机制，iFMs在生产环境中仍具可行性。
• iFMs中上下文感知与在线学习的结合，即使在静态FMs与MFs表现出相似召回行为时，也实现了比静态模型更优的泛化能力。
• iFMs中的自适应正则化通过动态响应数据分布变化，显著提升了模型稳定性与性能，尤其在高漂移环境中表现突出。