[论文解读] Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models

Zhaoyu Zhang, Xiang-Rong Sheng+5 more|arXiv (Cornell University)|Sep 4, 2022

Machine Learning in Materials Science被引用 5

一句话总结

本文研究了深度点击率（CTR）预测模型中的单周期现象，即模型在第二轮训练初期因过拟合导致性能急剧下降。通过在工业和公开数据集上进行大量实验，作者识别出模型架构、快速收敛的优化方法（如Adam）以及特征稀疏性是关键影响因素，提出了一个解释该反直觉行为的假设，并主张尽管当前工业实践中普遍采用单周期训练，仍需对多周期训练进行更深入探索。

ABSTRACT

Deep learning techniques have been applied widely in industrial recommendation systems. However, far less attention has been paid to the overfitting problem of models in recommendation systems, which, on the contrary, is recognized as a critical issue for deep neural networks. In the context of Click-Through Rate (CTR) prediction, we observe an interesting one-epoch overfitting problem: the model performance exhibits a dramatic degradation at the beginning of the second epoch. Such a phenomenon has been witnessed widely in real-world applications of CTR models. Thereby, the best performance is usually achieved by training with only one epoch. To understand the underlying factors behind the one-epoch phenomenon, we conduct extensive experiments on the production data set collected from the display advertising system of Alibaba. The results show that the model structure, the optimization algorithm with a fast convergence rate, and the feature sparsity are closely related to the one-epoch phenomenon. We also provide a likely hypothesis for explaining such a phenomenon and conduct a set of proof-of-concept experiments. We hope this work can shed light on future research on training more epochs for better performance.

研究动机与目标

• 探究单周期现象的根本原因，即深度CTR模型在第二轮训练初期出现剧烈过拟合的原因。
• 理解为何工业CTR模型通常仅训练一个周期，尽管长时间训练可能带来潜在益处。
• 分析模型架构、优化算法和特征稀疏性对CTR预测中过拟合行为的影响。
• 提出一个合理的假设以解释性能突然下降的现象，并通过受控实验加以验证。
• 为未来研究在深度推荐系统中实现有效的多周期训练提供洞见。

提出的方法

• 作者在阿里巴巴展示广告系统的大规模生产数据集上进行广泛实验，同时使用两个公开数据集：Amazon book 和 Taobao。
• 采用标准的深度CTR模型，其架构包含嵌入层和多层感知机（MLP），通过用户历史序列的平均池化操作，并使用二元交叉熵损失进行训练。
• 基础模型包含3个全连接层（200×80×1），使用DICE激活函数和Sigmoid输出，各特征域的嵌入维度为8。
• 训练使用Adam优化器，初始学习率固定为1e-3，批量大小分别为1024（生产数据）、128（Amazon）和512（Taobao）。
• 系统性地改变模型组件、优化设置和数据稀疏性，以隔离导致单周期现象的因素。
• 基于观察到快速收敛与稀疏特征导致训练样本过早记忆的现象，提出假设，并通过概念验证实验进行验证。

实验结果

研究问题

• RQ1 为何深度CTR预测模型在第一轮训练期间性能持续提升，却在第二轮训练初期出现性能急剧下降？
• RQ2 模型架构与优化算法选择在单周期过拟合现象中起到何种影响？
• RQ3 工业推荐系统中的特征稀疏性在多大程度上加剧了单周期现象？
• RQ4 该单周期现象是否在不同数据集和模型配置下具有通用性？
• RQ5 能否提出一个合理的假设来解释突然的过拟合行为，并通过实验加以验证？

主要发现

• 单周期现象——即模型在第二轮训练初期性能急剧下降——在多个工业和公开数据集（包括阿里巴巴生产数据、Amazon book 和 Taobao 数据集）中一致被观察到。
• 该现象与使用快速收敛优化算法（如Adam）密切相关，这些算法导致模型过快记忆训练样本。
• 高特征稀疏性，尤其是用户ID和物品ID特征，会加剧过拟合行为，因为稀有特征表示不足，极易被过拟合。
• 模型架构，特别是嵌入层与MLP的组合，通过使模型能够快速拟合稀疏高维输入，促成了该现象。
• 尽管训练超过一个周期，但性能提升并不显著，与经过适当超参数调优的单周期模型相比，表明过拟合在训练初期即已主导。
• 所提出的假设——即快速收敛与稀疏特征导致早期记忆，从而引发突然过拟合——通过受控实验得到验证，表明该现象并非随机，而是系统性的。