[论文解读] A Deep Probabilistic Model for Customer Lifetime Value Prediction

Xiaojing Wang, Tianqi Liu+1 more|arXiv (Cornell University)|Dec 16, 2019

Customer churn and segmentation参考文献 29被引用 11

一句话总结

该论文提出一种使用零膨胀对数正态（ZILN）损失函数的深度神经网络（DNN）模型，用于预测新客户的客户终身价值（LTV），解决了零膨胀和重尾LTV分布带来的挑战。该方法联合建模流失概率与LTV预测，并提供不确定性量化，相较于均方误差（MSE）损失，在两个真实世界数据集上均展现出更优的区分度与校准性。

ABSTRACT

Accurate predictions of customers' future lifetime value (LTV) given their attributes and past purchase behavior enables a more customer-centric marketing strategy. Marketers can segment customers into various buckets based on the predicted LTV and, in turn, customize marketing messages or advertising copies to serve customers in different segments better. Furthermore, LTV predictions can directly inform marketing budget allocations and improve real-time targeting and bidding of ad impressions. One challenge of LTV modeling is that some customers never come back, and the distribution of LTV can be heavy-tailed. The commonly used mean squared error (MSE) loss does not accommodate the significant fraction of zero value LTV from one-time purchasers and can be sensitive to extremely large LTV's from top spenders. In this article, we model the distribution of LTV given associated features as a mixture of zero point mass and lognormal distribution, which we refer to as the zero-inflated lognormal (ZILN) distribution. This modeling approach allows us to capture the churn probability and account for the heavy-tailedness nature of LTV at the same time. It also yields straightforward uncertainty quantification of the point prediction. The ZILN loss can be used in both linear models and deep neural networks (DNN). For model evaluation, we recommend the normalized Gini coefficient to quantify model discrimination and decile charts to assess model calibration. Empirically, we demonstrate the predictive performance of our proposed model on two real-world public datasets.

研究动机与目标

• 提升缺乏历史购买频率与最近购买时间数据的新客户LTV预测性能，使传统BTYD模型不再适用。
• 解决LTV回归中零膨胀标签（一次性购买者）与重尾分布（高消费客户）的双重挑战。
• 开发一个统一的深度学习框架，同时预测流失概率与LTV，并提供不确定性量化。
• 推荐归一化基尼系数与分位数图作为优于MSE的LTV建模评估指标。
• 展示ZILN损失在真实市场场景中的有效性，特别是在优化广告定位与活动盈利能力方面。

提出的方法

• 将LTV分布建模为在零处的点质量（对应流失客户）与对数正态分布（对应回头客户）的混合，形成零膨胀对数正态（ZILN）分布。
• 在深度神经网络中使用可微分的ZILN损失函数，联合优化零LTV概率与正向LTV期望值。
• 实现端到端训练，捕捉客户特征与LTV之间复杂非线性关系，无需两阶段建模流程。
• 提供完整的预测分布，可通过预测方差实现点估计的不确定性量化。
• 采用包含四层全连接层的DNN架构，通过带ZILN损失的随机梯度下降进行训练。
• 使用归一化基尼系数评估区分度，分位数级MAPE评估校准性，以及精确率-召回率AUC评估流失预测性能。

实验结果

研究问题

• RQ1 使用ZILN损失函数的深度神经网络是否能在预测新客户LTV方面优于基于标准MSE的回归方法？
• RQ2 与MSE相比，ZILN模型是否更能捕捉真实世界LTV分布的零膨胀与重尾特性？
• RQ3 ZILN模型在LTV预测任务中的模型区分度与校准性方面，改善程度如何？
• RQ4 ZILN模型能否提升真实市场结果，如直邮活动的利润？
• RQ5 ZILN损失是否在单一深度学习框架中有效联合建模流失概率与LTV预测？

主要发现

• 在Kaggle Acquire Valued Shoppers Challenge数据集上，ZILN损失的归一化基尼系数达到0.911，优于MSE的0.906，体现更强的模型区分度。
• 在KDD Cup 1998数据集上，ZILN损失的Spearman等级相关系数为0.027，高于MSE的0.020，表明对高价值捐赠者的排名更优。
• 在KDD Cup 1998数据集上，ZILN模型的归一化基尼系数为0.190，优于MSE的0.184，显示其在区分高价值与低价值客户方面能力更强。
• ZILN模型将分位数级MAPE降低至0.176，低于MSE的0.210，表明模型校准性更优。
• 在KDD Cup 1998活动中，基于ZILN的DNN实现总利润15,498.24美元，相较竞赛优胜者14,712.24美元提升5%，表现更佳。
• ZILN模型通过在单一端到端框架中联合建模流失与LTV预测，消除了对两阶段流程的依赖。