[论文解读] DCN-M: Improved Deep & Cross Network for Feature Cross Learning in Web-scale Learning to Rank Systems.

Ruoxi Wang, Rakesh Shivanna+5 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 24被引用 13

一句话总结

本文提出DCN-M，一种改进的Deep & Cross Network架构，通过引入低秩混合结构提升模型表达能力，同时保持计算效率，在大规模工业学习排序系统中增强了特征交叉学习能力。DCN-M在基准数据集上超越了当前最先进模型，在离线准确率和在线业务指标上均取得显著提升。

ABSTRACT

Learning effective feature crosses is the key behind building recommender systems. However, the sparse and large feature space requires exhaustive search to identify effective crosses. Deep & Cross Network (DCN) was proposed to automatically and efficiently learn bounded-degree predictive feature interactions. Unfortunately, in models that serve web-scale traffic with billions of training examples, DCN showed limited expressiveness in its cross network at learning more predictive feature interactions. Despite significant research progress made, many deep learning models in production still rely on traditional feed-forward neural networks to learn feature crosses inefficiently. In light of the pros/cons of DCN and existing feature interaction learning approaches, we propose an improved framework DCN-M to make DCN more practical in large-scale industrial settings. In a comprehensive experimental study with extensive hyper-parameter search and model tuning, we observed that DCN-M approaches outperform all the state-of-the-art algorithms on popular benchmark datasets. The improved DCN-M is more expressive yet remains cost efficient at feature interaction learning, especially when coupled with a mixture of low-rank architecture. DCN-M is simple, can be easily adopted as building blocks, and has delivered significant offline accuracy and online business metrics gains across many web-scale learning to rank systems.

研究动机与目标

• 解决原始DCN在大规模工业场景中学习高阶特征交互时表达能力有限的问题。
• 提升在包含数十亿训练样本的大规模网络学习排序系统中特征交互学习的效率与可扩展性。
• 开发一种实用、模块化的深度学习框架，在显著提升预测性能的同时保持低计算成本。
• 通过DCN架构的改进，实现更优的泛化能力与性能，适用于多样化的大规模网络排序应用。
• 证明在交叉网络中采用低秩混合设计可有效提升模型容量，同时不牺牲推理效率。

提出的方法

• 在DCN的交叉网络中引入低秩混合架构，提升模型表达能力，同时保持参数效率。
• 通过每层允许多个低秩变换，增强特征交互建模能力。
• 保留原始DCN的残差连接与交叉特征交互机制，同时通过低秩参数共享进行扩展。
• 采用门控机制，动态选择并组合多个低秩组件以实现每项特征交互。
• 设计模块化架构，便于集成到现有工业推荐与排序系统的深度学习流水线中。
• 开展广泛的超参数调优与消融实验，验证低秩混合设计的有效性。

实验结果

研究问题

• RQ1 在交叉网络中采用低秩混合架构是否能显著提升DCN的表达能力，同时不增加计算成本？
• RQ2 DCN-M在标准基准数据集上的预测性能与当前最先进模型相比如何？
• RQ3 DCN-M在真实大规模网络学习排序系统中，对离线准确率与在线业务指标的提升程度如何？
• RQ4 低秩混合设计是否能提升在稀疏、高维空间中多样化特征交互模式下的泛化能力？
• RQ5 在包含数十亿训练样本的工业系统中，DCN-M的可扩展性与效率如何？

主要发现

• DCN-M在主流基准数据集上达到最先进性能，优于现有深度学习模型在特征交互学习方面的表现。
• 低秩混合架构显著提升了模型表达能力，同时保持低计算开销。
• DCN-M在多个大规模网络学习排序系统中，均显著提升了离线评估指标与在线业务KPI。
• 该模型具有高度实用性，可作为模块化组件轻松部署于工业深度学习流水线中。
• 广泛的超参数调优证实了DCN-M相对于基线模型的鲁棒性与持续优越性。
• DCN-M增强的表达能力使其能更有效地学习稀疏、大规模特征空间中的复杂高阶特征交互。