[论文解读] Demand Prediction Using Machine Learning Methods and Stacked Generalization

Resul Tugay, Şule Gündüz Öğüdücü|arXiv (Cornell University)|Sep 21, 2020

Customer churn and segmentation被引用 4

一句话总结

本文提出了一种堆叠泛化（stacking）集成模型，用于在土耳其电商平台的多个卖家以不同价格提供相同产品的情况下进行需求预测。通过结合多种机器学习回归器——梯度提升、随机森林、线性回归和决策树，该模型实现了卓越的性能，最佳配置（GBT + RF + LR）将RMSE降低至1.864，优于单一模型，并在较少训练数据下展现出统计显著性。

ABSTRACT

Supply and demand are two fundamental concepts of sellers and customers. Predicting demand accurately is critical for organizations in order to be able to make plans. In this paper, we propose a new approach for demand prediction on an e-commerce web site. The proposed model differs from earlier models in several ways. The business model used in the e-commerce web site, for which the model is implemented, includes many sellers that sell the same product at the same time at different prices where the company operates a market place model. The demand prediction for such a model should consider the price of the same product sold by competing sellers along the features of these sellers. In this study we first applied different regression algorithms for specific set of products of one department of a company that is one of the most popular online e-commerce companies in Turkey. Then we used stacked generalization or also known as stacking ensemble learning to predict demand. Finally, all the approaches are evaluated on a real world data set obtained from the e-commerce company. The experimental results show that some of the machine learning methods do produce almost as good results as the stacked generalization method.

研究动机与目标

• 解决在多个卖家以不同价格提供相同产品的情况下，市场型电商平台中的需求预测挑战。
• 评估堆叠泛化在提升需求预测准确性方面相较于单一机器学习模型的有效性。
• 确定使用多样化回归器的集成学习是否能在减少训练数据量的同时降低预测误差。
• 识别在真实电商环境中用于需求预测的最优基学习器与元学习器组合。

提出的方法

• 采用两层学习的堆叠泛化（stacking）：第一层回归器（线性回归、随机森林、梯度提升、决策树）在训练数据上进行训练，元学习器则用于整合它们的预测结果。
• 在训练集上使用10折交叉验证来优化第一层模型，验证集用于训练元学习器。
• 将数据划分为50%训练集、20%验证集和30%测试集，并通过20次随机划分确保评估的稳健性。
• 使用RMSE评估模型性能，并应用ANOVA和t检验来评估模型性能差异的统计显著性。
• 测试了多种第一层模型的组合（二元和三元组合）以及不同元学习器（如线性回归、决策树）以识别最优配置。
• 使用来自n11.com的真实电商平台数据，聚焦于一个包含多个卖家以不同价格提供相同产品的部门。

实验结果

研究问题

• RQ1 在存在价格竞争的电商市场中，堆叠泛化是否能相较于单一机器学习模型提升需求预测的准确性？
• RQ2 线性回归、随机森林、梯度提升和决策树这几种基学习器的何种组合能在需求预测中实现最低的预测误差？
• RQ3 与单一模型相比，堆叠模型是否能在更少的训练数据下实现更好的性能？
• RQ4 与单一模型相比，堆叠模型的性能提升是否具有统计显著性？

主要发现

• 采用梯度提升、随机森林和线性回归作为第一层学习器的堆叠泛化模型在测试集上实现了最低的RMSE（1.864）。
• 梯度提升与随机森林的二元组合表现最佳，RMSE为1.870。
• 第二层使用线性回归作为元学习器的模型优于其他元学习器，包括决策树和随机森林。
• ANOVA结果在5%显著性水平下拒绝原假设，表明模型性能存在统计显著差异。
• t检验显示，随机森林（第一层）与线性回归（第二层）模型的性能无显著差异，表明集成方法具有稳健性。
• 所提出的堆叠模型在仅使用20%训练数据的情况下，实现了与单一模型相当的性能，表明其具有数据效率。