[论文解读] Modelling customer online behaviours with neural networks: applications to conversion prediction and advertising retargeting

Yanwei Cui, Rogatien Tobossi+1 more|arXiv (Cornell University)|Apr 20, 2018

Digital Marketing and Social Media参考文献 16被引用 15

一句话总结

本文提出了一种混合深度学习模型，结合卷积神经网络（CNN）与循环神经网络（LSTM），以建模用户在线浏览序列，从而提升数字营销中的转化率预测与再营销效果。通过语义嵌入用户搜索关键词与页面名称，并对LSTM生成的序列进行蒙特卡洛模拟，该模型在预测下一页访问方面实现了65.8%的准确率，从而能够精确估算未来转化概率。

ABSTRACT

In this paper, we apply neural networks into digital marketing world for the purpose of better targeting the potential customers. To do so, we model the customer online behaviours using dedicated neural network architectures. Starting from user searched keywords in a search engine to the landing page and different following pages, until the user left the site, we model the whole visited journey with a Recurrent Neural Network (RNN), together with Convolution Neural Networks (CNN) that can take into account of the semantic meaning of user searched keywords and different visited page names. With such model, we use Monte Carlo simulation to estimate the conversion rates of each potential customer in the future visiting. We believe our concept and the preliminary promising results in this paper enable the use of largely available customer online behaviours data for advanced digital marketing analysis.

研究动机与目标

• 开发一种自动化、智能化的系统，利用神经网络建模客户在线行为，减少对人工分析的依赖。
• 通过捕捉用户搜索关键词与页面名称的语义含义，提升数字营销中的转化率预测能力。
• 利用序列建模与仿真技术，实现对再营销活动的精准、个性化转化率估算。
• 利用大规模、序列化的在线行为数据，推动高级数字营销分析的发展。
• 探索将神经网络集成到程序化广告与强化学习框架中的可行性。

提出的方法

• 双向LSTM网络用于建模从搜索到退出的客户访问序列，捕捉浏览行为中的时间依赖性。
• 在用户搜索关键词与页面名称上应用CNN层，以提取语义嵌入，提升文本输入的表征能力。
• 将CNN生成的词嵌入输入LSTM，实现对会话全程的上下文感知建模。
• 使用蒙特卡洛模拟，从初始用户行为生成n步未来访问序列，支持概率性转化率估算。
• 模型训练采用交叉熵损失函数，并在全连接层应用0.5的dropout正则化，同时在验证数据上进行超参数调优。
• 通过平均五个相同结构的CNN+LSTM模型的预测结果，构建集成模型，提升预测的鲁棒性与准确性。

实验结果

研究问题

• RQ1 混合CNN-LSTM架构能否有效建模客户在线浏览行为的语义与序列特性？
• RQ2 在输入中引入搜索关键词与页面名称的语义嵌入，能在多大程度上提升下一页预测的准确率？
• RQ3 基于学习到的序列进行的蒙特卡洛模拟，能否可靠地估算个体用户的未来转化概率？
• RQ4 模型集成平均方法在复杂且具有随机性的用户行为序列中，如何提升预测性能？
• RQ5 该框架能否扩展以支持程序化广告中的实时再营销与强化学习？

主要发现

• 仅使用LSTM的模型在验证集上实现了63.5%的下一页预测准确率。
• 在输入中加入基于CNN的语义嵌入后，预测准确率提升至65.3%。
• 采用五个相同结构的CNN+LSTM模型的集成后，准确率进一步提升至65.8%。
• 模型成功模拟了包含表单填写与预约登记等步骤的真实客户旅程，经领域专家验证有效。
• 即使仅以两个初始步骤作为输入，基于模型生成的蒙特卡洛模拟也能产生合理且行为一致的序列。
• 结果表明，利用神经网络建模复杂、序列化的客户行为，对于自动化数字营销应用具有可行性。