[论文解读] APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction

Bencheng Yan, Pengjie Wang+5 more|arXiv (Cornell University)|Mar 30, 2022

Recommender Systems and Techniques被引用 15

一句话总结

本文提出APG，一种新颖的自适应参数生成网络，可为点击率（CTR）预测中的各个实例动态生成模型权重，通过捕捉实例特定的模式来增强表示能力。APG在工业部署中实现了最高3%的CTR提升和1%的RPM提升，相较于标准模型，内存使用量减少96.6%，训练时间减少38.7%，且可普遍应用于现有深度CTR架构。

ABSTRACT

In many web applications, deep learning-based CTR prediction models (deep CTR models for short) are widely adopted. Traditional deep CTR models learn patterns in a static manner, i.e., the network parameters are the same across all the instances. However, such a manner can hardly characterize each of the instances which may have different underlying distributions. It actually limits the representation power of deep CTR models, leading to sub-optimal results. In this paper, we propose an efficient, effective, and universal module, named as Adaptive Parameter Generation network (APG), which can dynamically generate parameters for deep CTR models on-the-fly based on different instances. Extensive experimental evaluation results show that APG can be applied to a variety of deep CTR models and significantly improve their performance. Meanwhile, APG can reduce the time cost by 38.7\% and memory usage by 96.6\% compared to a regular deep CTR model. We have deployed APG in the industrial sponsored search system and achieved 3\% CTR gain and 1\% RPM gain respectively.

研究动机与目标

• 解决深度CTR模型中静态共享参数的局限性，这些参数无法捕捉实例特定的特征分布。
• 通过实现动态、实例感知的参数生成，在不增加模型复杂度或存储需求的前提下增强模型表示能力。
• 设计一种高效且可扩展的模块，降低计算和内存成本，同时保持或提升预测准确性。
• 提供一种与多种深度CTR模型兼容的通用解决方案，实现广泛的工业适用性。

提出的方法

• APG利用以输入特征作为上下文的条件感知神经网络，动态生成实例特定的权重矩阵。
• 它将生成的权重矩阵参数化为三个矩阵的低秩乘积（U_i S_i V_i），其中S_i为动态生成的核心参数矩阵。
• 该分解将计算和内存成本从O(NMD)降低至O(KKD)，其中K ≪ min(N,M)，从而实现可扩展性。
• 采用分解后的前馈机制，避免在推理过程中重构完整权重矩阵，提升效率。
• 该方法支持细粒度和粗粒度的参数分配策略，后者显著降低内存使用。
• APG通过将标准全连接层替换为自适应参数生成模块，可无缝集成到现有深度CTR模型中。

实验结果

研究问题

• RQ1 动态、实例特定的参数生成是否能够超越静态参数共享，在表示容量上提升深度CTR模型的性能？
• RQ2 如何使自适应参数生成在大规模网络CTR预测系统中实现计算和内存效率？
• RQ3 在低数据场景下，APG是否优于粗粒度参数分配方法（如Star和MMoE）？
• RQ4 APG是否能隐式学习不同实例特定参数之间的关系，如潜在空间中的聚类所显示？
• RQ5 在真实工业CTR预测系统中应用APG时，性能提升与计算效率之间的权衡如何？

主要发现

• 在阿里巴巴工业赞助搜索系统中部署APG后，CTR相对提升达3%，RPM提升1%。
• 与标准深度CTR模型相比，APG将内存使用量减少96.6%，训练时间减少38.7%。
• 在MovieLens数据集的细粒度设置下，APG的内存成本低至0.24M，而Star在相同设置下的内存成本为3784.23M。
• 通过PCA可视化显示，生成的特定参数（S_i）按类别实现有意义的聚类，表明隐式学习到了参数间的关系。
• 在效率和效果方面，APG优于粗粒度参数分配方法（如Star和MMoE），尤其在数据有限的细粒度设置下表现更优。
• 该方法具有普适性，在无需架构重构的前提下，可提升多种深度CTR模型的性能。