[论文解读] CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction.

Guorui Zhou, Weijie Bian+14 more|arXiv (Cornell University)|Nov 11, 2020

Image and Video Quality Assessment参考文献 22被引用 9

一句话总结

本文提出特征协同作用网络（CAN），一种用于点击率（CTR）预测的新型深度学习模型，通过结构化注意力机制显式捕捉非线性特征协同作用——集体特征交互。CAN在提升预测精度的同时降低计算与存储成本，在阿里巴巴的工业部署中实现12%的CTR提升和8%的RPM提升。

ABSTRACT

Inspired by the success of deep learning, recent industrial Click-Through Rate (CTR) prediction models have made the transition from traditional shallow approaches to deep approaches. Deep Neural Networks (DNNs) are known for its ability to learn non-linear interactions from raw feature automatically, however, the non-linear feature interaction is learned in an implicit manner. The non-linear interaction may be hard to capture and explicitly model the extit{co-action} of raw feature is beneficial for CTR prediction. extit{Co-action} refers to the collective effects of features toward final prediction. In this paper, we argue that current CTR models do not fully explore the potential of feature co-action. We conduct experiments and show that the effect of feature co-action is underestimated seriously. Motivated by our observation, we propose feature Co-Action Network (CAN) to explore the potential of feature co-action. The proposed model can efficiently and effectively capture the feature co-action, which improves the model performance while reduce the storage and computation consumption. Experiment results on public and industrial datasets show that CAN outperforms state-of-the-art CTR models by a large margin. Up to now, CAN has been deployed in the Alibaba display advertisement system, obtaining averaging 12\% improvement on CTR and 8\% on RPM.

研究动机与目标

• 为解决现有CTR预测模型中特征协同作用被低估的问题，这些模型隐式学习非线性交互。
• 探究显式建模特征协同作用是否能显著提升CTR预测性能。
• 设计一种模型，高效捕捉协同作用效应，同时不增加计算或存储开销。
• 在公开数据集和工业数据集上验证所提方法的有效性。
• 在真实广告系统中进行模型部署与评估，以实现实际影响。

提出的方法

• 提出一种特征协同作用网络（CAN），通过可学习的协同作用模块显式建模特征对的集体影响。
• 引入结构化注意力机制，动态加权特征协同激活模式的重要性。
• 设计轻量化架构，通过减少与标准DNN相比的冗余参数化，保持高效率。
• 采用基于分解的交互模块，以低计算成本高效计算高阶特征交互。
• 利用残差连接和归一化层以稳定训练并提升收敛性。
• 使用标准反向传播算法优化模型，采用二元交叉熵损失函数进行CTR预测。

实验结果

研究问题

• RQ1 当前最先进的CTR模型在多大程度上低估了特征协同作用的潜力？
• RQ2 显式建模特征协同作用是否能带来可测量的CTR预测性能提升？
• RQ3 与现有深度CTR模型相比，所提出的CAN模型在计算和内存使用方面是否保持高效率？
• RQ4 CAN在真实工业数据集上的表现相较于SOTA基线模型如何？
• RQ5 在大规模广告系统中部署CAN的实际影响是什么？

主要发现

• 与基线模型相比，所提出的CAN模型在阿里巴巴展示广告系统中实现了12%的点击率（CTR）相对提升。
• 在工业部署中，CAN使千次展示收入（RPM）提升8%，展现出显著的业务影响。
• 在公开数据集和工业数据集上的实验表明，CAN显著优于当前最先进的CTR模型。
• 该模型有效捕捉了非线性特征协同作用，而此前的模型未能充分挖掘这一潜力。
• CAN在保持或提升预测精度的同时，降低了存储和计算消耗。
• 该模型已在阿里巴巴成功投入生产环境，验证了其在真实场景下的可扩展性与鲁棒性。