[论文解读] Deep Learning for Click-Through Rate Estimation

Weinan Zhang, Jiarui Qin+3 more|arXiv (Cornell University)|Apr 21, 2021

Recommender Systems and Techniques参考文献 27被引用 7

一句话总结

本综述全面回顾了用于点击率（CTR）估计的深度学习模型，涵盖从浅层模型到深度架构的演进、显式特征交互学习、行为建模以及自动化架构搜索。它强调了深度学习通过捕捉高阶特征交互和实现端到端学习，从而提升CTR预测性能的机制，其主要贡献体现在模型设计、表征学习以及工业级应用中的自动化神经架构搜索方面。

ABSTRACT

Click-through rate (CTR) estimation plays as a core function module in various personalized online services, including online advertising, recommender systems, and web search etc. From 2015, the success of deep learning started to benefit CTR estimation performance and now deep CTR models have been widely applied in many industrial platforms. In this survey, we provide a comprehensive review of deep learning models for CTR estimation tasks. First, we take a review of the transfer from shallow to deep CTR models and explain why going deep is a necessary trend of development. Second, we concentrate on explicit feature interaction learning modules of deep CTR models. Then, as an important perspective on large platforms with abundant user histories, deep behavior models are discussed. Moreover, the recently emerged automated methods for deep CTR architecture design are presented. Finally, we summarize the survey and discuss the future prospects of this field.

研究动机与目标

• 为工业应用中用于点击率（CTR）估计的深度学习模型提供全面综述。
• 分析从浅层模型到深度架构的演进过程，并解释为何更深层次的模型对于提升性能是必要的。
• 研究深度CTR模型中显式特征交互学习模块的作用及其在捕捉高阶特征模式中的角色。
• 探索利用用户历史数据提升CTR预测性能的深度行为建模技术。
• 调查用于深度CTR模型的自动化神经架构搜索方法，以减少人工设计工作量。

提出的方法

• 梳理从逻辑回归和因子分解机（FM）模型到具有显式特征交互层的深度神经网络的CTR模型演进过程。
• 分析使用多层感知机（MLP）、注意力机制和分解层来建模高阶特征交互的深度CTR模型。
• 引入RNN、GRU和自注意力等行为建模技术，以表征用户行为的序列模式。
• 介绍AutoCTR和AMER等自动化架构搜索方法，这些方法利用进化算法和可微搜索来发现最优模型结构。
• 应用Gumbel-Softmax技巧，以可微方式学习特征交互选择的概率。
• 使用随机梯度变分贝叶斯优化用户特定特征交互选择的贝叶斯生成模型。

实验结果

研究问题

• RQ1 深度学习模型如何从浅层模型演进，以提升CTR估计性能？
• RQ2 哪些关键组件和机制使深度CTR模型能够捕捉高阶特征交互？
• RQ3 如何有效建模用户行为序列，以在大规模系统中提升CTR预测性能？
• RQ4 自动化深度CTR模型架构设计过程的优势与挑战是什么？
• RQ5 在表示学习和多模态数据方面，深度CTR建模仍面临哪些开放的理论与实践挑战？

主要发现

• 深度学习通过实现复杂特征交互的端到端学习，显著提升了CTR估计性能，减少了对人工特征工程的依赖。
• FM、FFM及其深度扩展模型（如DeepFM、Wide & Deep）通过可学习的嵌入交互，有效捕捉了二阶及更高阶的特征交互。
• 注意力机制和记忆网络通过捕捉用户交互中的长程依赖和序列模式，提升了用户行为建模效果。
• 自动化架构搜索方法（如AutoCTR和AMER）可在极少人工干预下发现高性能CTR架构，从而提升效率与性能。
• 尽管已取得进展，但深度CTR模型在理论理解、类别数据的表示学习以及多模态特征（如文本、图像）的整合方面仍面临挑战。
• 将可学习的数据处理策略与模型设计相结合，被识别为提升CTR估计性能的有前景未来方向。