[论文解读] Large Scale Purchase Prediction with Historical User Actions on B2C Online Retail Platform

Yuyu Zhang, Liang Pang+2 more|arXiv (Cornell University)|Aug 27, 2014

Human Mobility and Location-Based Analysis被引用 9

一句话总结

本文提出了一种两阶段机器学习方法，基于淘宝B2C平台超过5.5亿条用户行为记录，实现大规模购买预测。该方法结合梯度提升回归树、逻辑回归、随机森林和全局评分模型，通过线性回归和集成策略进行融合，最终获得0.0611的F₁分数，在2014年淘宝推荐奖竞赛中排名7/7,276名。

ABSTRACT

This paper describes the solution of Bazinga Team for Tmall Recommendation Prize 2014. With real-world user action data provided by Tmall, one of the largest B2C online retail platforms in China, this competition requires to predict future user purchases on Tmall website. Predictions are judged on F1Score, which considers both precision and recall for fair evaluation. The data set provided by Tmall contains more than half billion action records from over ten million distinct users. Such massive data volume poses a big challenge, and drives competitors to write every single program in MapReduce fashion and run it on distributed cluster. We model the purchase prediction problem as standard machine learning problem, and mainly employ regression and classification methods as single models. Individual models are then aggregated in a two-stage approach, using linear regression for blending, and finally a linear ensemble of blended models. The competition is approaching the end but still in running during writing this paper. In the end, our team achieves F1Score 6.11 and ranks 7th (out of 7,276 teams in total).

研究动机与目标

• 解决在拥有海量用户行为数据的B2C电商平台中进行大规模购买预测的挑战。
• 构建一个稳健且可扩展的机器学习流水线，能够在分布式环境中处理超过5.5亿条行为记录。
• 通过两阶段融合与集成策略，结合多种模型以提升预测性能。
• 设计有效的时序与行为特征，以捕捉用户意图和品牌偏好随时间的变化。
• 以F₁分数为优化目标，在无显式训练/测试划分的真实推荐场景中平衡精确率与召回率。

提出的方法

• 将购买预测建模为标准的机器学习问题，采用回归、分类和全局评分模型。
• 采用基于固定时间窗与滑动时间窗的时间依赖型特征工程，以捕捉用户行为动态。
• 设计全面的特征集合，包括基于用户、品牌及用户-品牌对行为的计数、比率、标志和全局特征。
• 使用逻辑回归对分组的个体模型预测结果进行融合，以降低过拟合并提升泛化能力。
• 对融合后的模型应用线性集成策略，进一步提升预测准确率。
• 将有效规则作为二元标志特征引入，而非直接作为预测输出，以增强模型鲁棒性。

实验结果

研究问题

• RQ1 如何设计一个可扩展的机器学习流水线，以处理B2C电商平台中超过5.5亿条用户行为记录？
• RQ2 何种特征工程策略最能有效捕捉用户意图与品牌亲和力，以支持未来购买预测？
• RQ3 两阶段模型融合与集成方法相较于单一模型，如何提升F₁分数？
• RQ4 用户行为中的时间模式（如连续购买）在多大程度上可预测未来的购买行为？
• RQ5 如何在不引发过拟合的前提下，有效将基于规则的洞察融入学习模型？

主要发现

• 该团队在2014年淘宝推荐奖竞赛中取得0.0611的F₁分数，位列7/7,276名。
• 模型在预测窗口的前三个工作日内表现显著更优，性能随时间推移逐渐下降。
• 通过逻辑回归对个体模型进行融合，相比独立模型，显著提升了泛化能力并降低了过拟合风险。
• 将基于规则的洞察作为二元标志特征引入，优于直接将规则预测结果加入模型输出。
• 全局特征（如首次/最后一次活跃日、最近一次购买日、活跃周期长度）提供了稳健且具信息量的预测信号。
• 全局评分中的时间衰减函数有效提升了对近期行为的敏感度，增强了模型对时效性的响应能力。