[论文解读] Churn Prediction with Sequential Data and Deep Neural Networks. A Comparative Analysis

C. Gary Mena, Arno De Caigny+3 more|arXiv (Cornell University)|Sep 24, 2019

Customer churn and segmentation参考文献 16被引用 22

一句话总结

本文提出使用长短期记忆（LSTM）网络对金融服务业客户流失预测中的顺序性最近、频率与货币（RFM）数据进行建模。结果表明，LSTM在性能上优于使用静态特征的正则化逻辑回归模型，当使用LSTM预测的概率作为特征时，其在样本外性能上实现了25%的提升，且最高十个百分点的提升值达到4.211。

ABSTRACT

Off-the-shelf machine learning algorithms for prediction such as regularized logistic regression cannot exploit the information of time-varying features without previously using an aggregation procedure of such sequential data. However, recurrent neural networks provide an alternative approach by which time-varying features can be readily used for modeling. This paper assesses the performance of neural networks for churn modeling using recency, frequency, and monetary value data from a financial services provider. Results show that RFM variables in combination with LSTM neural networks have larger top-decile lift and expected maximum profit metrics than regularized logistic regression models with commonly-used demographic variables. Moreover, we show that using the fitted probabilities from the LSTM as feature in the logistic regression increases the out-of-sample performance of the latter by 25 percent compared to a model with only static features.

研究动机与目标

• 评估使用顺序性RFM数据的LSTM神经网络在金融服务业客户流失建模中的预测性能。
• 将基于LSTM的模型与依赖静态特征的传统现成机器学习模型进行比较。
• 探究LSTM拟合的概率是否能有效总结顺序性RFM数据，以用于传统模型。
• 评估时间可变特征不同聚合技术对模型性能的影响。
• 确定在客户流失预测框架中，顺序行为数据的最佳整合策略。

提出的方法

• 直接使用长短期记忆（LSTM）循环神经网络对顺序性RFM变量进行建模，无需聚合处理。
• 以l1正则化的逻辑回归作为基线模型，使用静态客户人口统计、行为及联络变量。
• 从LSTM模型生成样本外预测概率，并将其作为额外特征引入逻辑回归模型。
• 通过三重外部折叠交叉验证评估模型性能，以确保稳健性。
• 对比多种RFM数据的特征工程策略，包括聚合、归一化及滞后值处理。
• 采用标准评估指标：AUC、最高十个百分点提升值以及期望最大利润度量（EMPC）进行模型比较。

实验结果

研究问题

• RQ1 使用原始顺序性RFM数据的LSTM模型与仅使用静态特征的正则化逻辑回归模型相比，其预测性能如何？
• RQ2 LSTM模型的拟合概率是否能有效总结顺序性RFM信息，以用于传统机器学习模型？
• RQ3 将LSTM衍生的概率引入逻辑回归是否能提升样本外性能，相比使用聚合的RFM特征？
• RQ4 静态特征与顺序数据表示的哪种组合能实现最高的最高十个百分点提升值和EMPC？
• RQ5 使用深度学习对顺序行为进行建模，相比传统聚合方法，是否能带来显著的性能提升？

主要发现

• LSTM模型实现了4.211的最高十个百分点提升值，显著优于仅使用静态特征的逻辑回归模型（提升值为3.350）。
• 在逻辑回归模型中引入LSTM拟合概率作为特征后，样本外性能相比仅使用静态特征的模型提升了25.7%。
• 在LSTM概率基础上增强的逻辑模型实现了0.012的期望最大利润度量（EMPC），是仅使用静态特征的基线模型的三倍。
• 在已包含LSTM概率的逻辑模型中，加入聚合或归一化的滞后RFM特征并未进一步提升性能，表明LSTM概率已能有效总结顺序信息。
• LSTM模型自身的AUC为0.741，最高十个百分点提升值为4.101，尽管在所有指标中并非最佳，但仍表现出强劲性能。
• 交叉验证各折叠的提升曲线表明，LSTM模型及结合LSTM概率的逻辑模型在最高十个百分点区间内始终优于其他配置。