[论文解读] FLEN: Leveraging Field for Scalable CTR Prediction

Wenqiang Chen, Lizhang Zhan+4 more|arXiv (Cornell University)|Nov 12, 2019

Recommender Systems and Techniques参考文献 32被引用 17

一句话总结

FLEN 提出了一种逐字段双线性交互池化机制，以高效建模点击率预测中的跨字段与字段内特征交互，显著减少参数量和推理延迟。其在真实工业数据的离线与在线 A/B 测试中表现优异，CTR 相较于 NFM 提升 5.19%，同时仅需 1/6 的内存与计算资源。

ABSTRACT

Click-Through Rate (CTR) prediction has been an indispensable component for many industrial applications, such as recommendation systems and online advertising. CTR prediction systems are usually based on multi-field categorical features, i.e., every feature is categorical and belongs to one and only one field. Modeling feature conjunctions is crucial for CTR prediction accuracy. However, it requires a massive number of parameters to explicitly model all feature conjunctions, which is not scalable for real-world production systems. In this paper, we describe a novel Field-Leveraged Embedding Network (FLEN) which has been deployed in the commercial recommender system in Meitu and serves the main traffic. FLEN devises a field-wise bi-interaction pooling technique. By suitably exploiting field information, the field-wise bi-interaction pooling captures both inter-field and intra-field feature conjunctions with a small number of model parameters and an acceptable time complexity for industrial applications. We show that a variety of state-of-the-art CTR models can be expressed under this technique. Furthermore, we develop Dicefactor: a dropout technique to prevent independent latent features from co-adapting. Extensive experiments, including offline evaluations and online A/B testing on real production systems, demonstrate the effectiveness and efficiency of FLEN against the state-of-the-arts. Notably, FLEN has obtained 5.19% improvement on CTR with 1/6 of memory usage and computation time, compared to last version (i.e. NFM).

研究动机与目标

• 为解决现有场感知点击率模型（如 FFM 和 FwFM）在可扩展性和效率方面的局限性，这些模型存在参数量二次增长和内存占用高的问题。
• 设计一种参数高效、低延迟的神经网络层，能够在不增加模型复杂度的前提下捕捉跨字段与字段内特征交互。
• 解决 FM 模块中梯度耦合问题，该问题会降低场感知模型的性能。
• 开发一种新型正则化方法 Dicefactor，防止训练过程中独立潜在特征的共适应。
• 通过离线评估与真实生产推荐系统中的在线 A/B 测试，验证 FLEN 的优越性。

提出的方法

• FLEN 引入了逐字段双线性交互（FwBI）池化层，利用场特定的嵌入矩阵，计算字段内与字段间特征的交互。
• FwBI 层通过双线性形式计算交互：$ \mathbf{v}_{ij} = \mathbf{e}_i^T \mathbf{W}_{ij} \mathbf{e}_j $，其中 $ \mathbf{e}_i $ 和 $ \mathbf{e}_j $ 分别为字段 $ i $ 和 $ j $ 的嵌入向量，$ \mathbf{W}_{ij} $ 为场对特定的权重矩阵。
• 模型将 FwBI 与多层感知机（MLP）结合，从池化后的表示中学习高阶、非线性交互。
• 提出一种新型正则化技术 Dicefactor，在训练过程中随机丢弃整个双线性路径，防止潜在特征共适应，并缓解梯度耦合问题。
• FwBI 层被设计为可泛化经典模型：当对权重矩阵施加特定约束时，FM、MF 和 FwFM 可作为其特例。
• 模型采用随机梯度下降进行端到端训练，结合早停与 L2 正则化，优化目标为在工业系统中实现低延迟推理。

实验结果

研究问题

• RQ1 是否能够通过一种逐字段双线性交互池化层，在参数增长最小的前提下，有效建模跨字段与字段内特征交互？
• RQ2 与现有场感知模型（如 FFM 和 FwFM）相比，所提出的 FwBI 层在参数效率与推理速度方面表现如何？
• RQ3 Dicefactor 正则化方法是否能有效缓解场感知架构中基于 FM 模块的梯度耦合问题？
• RQ4 相较于 SOTA 模型（如 NFM），FLEN 是否能在显著降低内存与计算资源消耗的前提下，实现更优的 CTR 预测性能？
• RQ5 在真实生产环境约束下，FLEN 模型是否能在在线 A/B 测试中保持稳定且显著的性能提升？

主要发现

• 在美图生产平台的 7 天在线 A/B 测试中，FLEN 相较于基于 NFM 的旧系统，CTR 实现了 5.19% 的相对提升。
• FLEN 将内存使用量与计算时间减少至 NFM 基线的 1/6，展现出在工业部署中的强大可扩展性。
• 在 Avazu 数据集上，FLEN 在所有模型中取得最佳 AUC 与 Logloss，且收敛速度优于 NFFM 及其他 SOTA 模型。
• FwBI 层在所有测试模型中参数量最少，仅含 4.94×10⁷ 个参数，效率优于 FFM 与 NFFM。
• Dicefactor 超参数调优结果显示，在 Avazu 数据集上 β=0.7、在美图数据集上 β=0.8 时，AUC 与 Logloss 达到最优，证实其在稳定训练方面的有效性。
• 在美图数据集上，FLEN 处理的实例数每秒最多，验证了其在真实系统中的高推理效率。