[论文解读] Deep Interest Evolution Network for Click-Through Rate Prediction

Guorui Zhou, Na Mou+6 more|arXiv (Cornell University)|Sep 11, 2018

Recommender Systems and Techniques被引用 68

一句话总结

DIEN 引入一个带辅助监督的兴趣提取器和使用 AUGRU 的兴趣演化层，以捕捉相对于目标项的兴趣演化，从而实现最先进的 CTR 预测和在线收益显著提升。

ABSTRACT

Click-through rate~(CTR) prediction, whose goal is to estimate the probability of the user clicks, has become one of the core tasks in advertising systems. For CTR prediction model, it is necessary to capture the latent user interest behind the user behavior data. Besides, considering the changing of the external environment and the internal cognition, user interest evolves over time dynamically. There are several CTR prediction methods for interest modeling, while most of them regard the representation of behavior as the interest directly, and lack specially modeling for latent interest behind the concrete behavior. Moreover, few work consider the changing trend of interest. In this paper, we propose a novel model, named Deep Interest Evolution Network~(DIEN), for CTR prediction. Specifically, we design interest extractor layer to capture temporal interests from history behavior sequence. At this layer, we introduce an auxiliary loss to supervise interest extracting at each step. As user interests are diverse, especially in the e-commerce system, we propose interest evolving layer to capture interest evolving process that is relative to the target item. At interest evolving layer, attention mechanism is embedded into the sequential structure novelly, and the effects of relative interests are strengthened during interest evolution. In the experiments on both public and industrial datasets, DIEN significantly outperforms the state-of-the-art solutions. Notably, DIEN has been deployed in the display advertisement system of Taobao, and obtained 20.7\% improvement on CTR.

研究动机与目标

• 提升 CTR 预测，建模背后隐含且持续演化的用户兴趣，而非仅靠显式行为。
• 提出一个专用兴趣提取器，从历史行为中获得富表达力的潜在兴趣。
• 建模相对于目标项的兴趣动态演化。
• 在公开数据集和工业数据上证明有效性，包括在线部署。
• 表明辅助监督和 AUGRU 能改进表示与预测。

提出的方法

• 使用基于 GRU 的兴趣提取器来捕捉用户行为序列中的时间依赖性。
• 引入辅助损失，用下一个行为信息监督隐藏状态以丰富潜在兴趣。
• 提出带有 AUGRU 的兴趣演化层，利用注意力对历史兴趣相对于目标项的演化进行建模并调制影响。
• 结合注意力 a_t 计算历史兴趣与目标项嵌入之间的相关性；在 GRU 增强带有注意力更新门（AUGRU）。
• 以目标 CTR 损失+辅助损失联合训练，通过参数 alpha 进行平衡。

实验结果

研究问题

• RQ1 潜在的历史提取兴趣能否超过直接行为表示来改善 CTR？
• RQ2 相对于目标项建模兴趣演化是否能提升 CTR 预测及对兴趣漂移的鲁棒性？
• RQ3 对 GRU 隐藏状态进行辅助监督是否提升兴趣表示质量？
• RQ4 AUGRU 与其他注意力/GRU 变体在捕捉演化的用户兴趣方面有何差异？
• RQ5 在大型广告系统上线部署 DIEN 时的实际线上性能提升是多少？

主要发现

模型	电子产品（AUC）	书籍（AUC）	工业（AUC）
BaseModel	0.7435±0.00128	0.7686±0.00253	0.6350
Wide&Deep	0.7456±0.00127	0.7735±0.00051	0.6362
PNN	0.7543±0.00101	0.7799±0.00181	0.6353
DIN	0.7603±0.00028	0.7880±0.00216	0.6428
Two layer GRU Attention	0.7605±0.00059	0.7890±0.00268	0.6457
DIEN	0.7792±0.00243	0.8453±0.00476	0.6541

• DIEN 在公开数据集 Electronics 和 Books 上的 AUC 均高于基线（Electronics 0.7792 对 0.7435；Books 0.8453 对 0.7686）。
• DIEN 在工业数据集上的 AUC 为 0.6541，优于 DIN 与基于 GRU 的变体。
• 基于 AUGRU 的兴趣演化在 CTR 预测方面显著优于 AIGRU 和 AGRU 变体。
• 辅助损失提升兴趣表示与嵌入学习，在公开数据集上有可见收益，在工业数据上也有显著但较小的收益。
• 在淘宝展示广告的在线部署相比基线 BaseModel 提升了 20.7% 的 CTR 和 17.1% 的 eCPM（反映实际应用影响）。
• 可视化和消融研究显示 AUGRU 能将演化兴趣有效聚焦在目标项周围，降低来自兴趣漂移的干扰。