[论文解读] ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding

Zhiqiang Wang, Qingyun She+2 more|arXiv (Cornell University)|Jul 26, 2021

Recommender Systems and Techniques参考文献 30被引用 4

一句话总结

本文提出 ContextNet，一种新颖的 CTR 预测框架，通过利用输入样本的上下文信息动态优化特征嵌入，实现高阶特征交互的隐式建模。通过集成上下文嵌入模块与具有非线性映射的 ContextNet 模块，ContextNet-PFFN 和 ContextNet-SFFN 在四个真实世界数据集上优于 SOTA 模型（如 DeepFM 和 xDeepFM），实现了最先进的 AUC 性能。

ABSTRACT

Click-through rate (CTR) estimation is a fundamental task in personalized advertising and recommender systems and it's important for ranking models to effectively capture complex high-order features.Inspired by the success of ELMO and Bert in NLP field, which dynamically refine word embedding according to the context sentence information where the word appears, we think it's also important to dynamically refine each feature's embedding layer by layer according to the context information contained in input instance in CTR estimation tasks. We can effectively capture the useful feature interactions for each feature in this way. In this paper, We propose a novel CTR Framework named ContextNet that implicitly models high-order feature interactions by dynamically refining each feature's embedding according to the input context. Specifically, ContextNet consists of two key components: contextual embedding module and ContextNet block. Contextual embedding module aggregates contextual information for each feature from input instance and ContextNet block maintains each feature's embedding layer by layer and dynamically refines its representation by merging contextual high-order interaction information into feature embedding. To make the framework specific, we also propose two models(ContextNet-PFFN and ContextNet-SFFN) under this framework by introducing linear contextual embedding network and two non-linear mapping sub-network in ContextNet block. We conduct extensive experiments on four real-world datasets and the experiment results demonstrate that our proposed ContextNet-PFFN and ContextNet-SFFN model outperform state-of-the-art models such as DeepFM and xDeepFM significantly.

研究动机与目标

• 为解决在 CTR 预测中有效建模高阶特征交互的挑战，这对推荐系统中的精准排序至关重要。
• 克服基于 DNN 的模型中浅层 MLP 在捕捉复杂特征交互方面效率不足的局限。
• 开发一种灵活且可解释的框架，实现在推理过程中对特征嵌入进行动态、上下文感知的优化。
• 设计一种可扩展的架构，隐式建模高阶交互，同时显著降低计算成本。

提出的方法

• ContextNet 提出一种双组件框架：上下文嵌入模块，从输入样本中聚合每个特征的上下文感知信息。
• ContextNet 模块通过一个融合高阶交互信号的非线性映射子网络，逐层维持并动态优化每个特征的嵌入。
• 通过集成线性和非线性上下文嵌入网络，以及两种不同的非线性映射子网络，提出了两种具体模型：ContextNet-PFFN 和 ContextNet-SFFN。
• 该框架采用上下文嵌入与隐藏状态之间的乘法交互模式，受 '潜在交叉' 机制启发，相比加法聚合，能更有效地建模特征交互。
• 模型在块之间采用类似残差的结构，支持深层网络训练，提升稳定性和性能。
• 通过各块间嵌入输出的点积矩阵分析特征重要性，可视化特征相关性的动态演化。

实验结果

研究问题

• RQ1 利用上下文信息对特征嵌入进行动态优化，能否提升 CTR 预测中高阶特征交互的建模效果？
• RQ2 在 AUC 和计算效率方面，ContextNet 的架构与 DeepFM 和 xDeepFM 等现有模型相比表现如何？
• RQ3 ContextNet 块的数量和嵌入维度在多大程度上影响模型性能与泛化能力？
• RQ4 动态嵌入机制是否能有效捕捉并适应每个输入样本的相关特征交互？

主要发现

• ContextNet-PFFN 和 ContextNet-SFFN 在四个真实世界数据集上实现了最先进的 AUC 性能，优于 DeepFM 和 xDeepFM。
• 在 Criteo 数据集上，ContextNet-PFFN 的 AUC 达到 0.8113，高于嵌入维度为 10 的基线模型（0.8104）。
• 模型性能在嵌入维度为 50 时达到峰值，Criteo 数据集上 AUC 为 0.8113，Malware 数据集上为 0.7417，随后因过拟合而下降。
• ContextNet 块的数量显著影响性能，最优结果出现在 10–11 个块之间，表明深层架构具有良好的可训练性。
• 动态嵌入优化机制得到实证验证：特征相关性在各块间动态演化，'age'、'movie genres' 和 'movie year' 在正样本预测实例中成为关键相关特征。
• 特征重要性分析显示，在采样的 ML-1m 实例中，'age'=35 是最具影响力的特征，与模型对上下文相关特征的动态关注一致。