[论文解读] Deep Embedding Forest: Forest-based Serving with Deep Embedding Features

Jie Zhu, Ying Shan+4 more|arXiv (Cornell University)|Mar 15, 2017

Face and Expression Recognition参考文献 18被引用 4

一句话总结

本文提出 Deep Embedding Forest，一种混合模型，将深度神经网络（DNN）嵌入层与基于树的模型（如 XGBoost、LightGBM）结合，实现 DNN 水平的性能，同时具备森林模型的推理速度。通过训练嵌入层将高维特征映射为低维向量，并使用树集成模型进行快速推理，该方法将推理时间减少到 DNN 的几分之一，同时在大规模信息流广告搜索数据上保持接近最优的准确率。

ABSTRACT

Deep Neural Networks (DNN) have demonstrated superior ability to extract high level embedding vectors from low level features. Despite the success, the serving time is still the bottleneck due to expensive run-time computation of multiple layers of dense matrices. GPGPU, FPGA, or ASIC-based serving systems require additional hardware that are not in the mainstream design of most commercial applications. In contrast, tree or forest-based models are widely adopted because of low serving cost, but heavily depend on carefully engineered features. This work proposes a Deep Embedding Forest model that benefits from the best of both worlds. The model consists of a number of embedding layers and a forest/tree layer. The former maps high dimensional (hundreds of thousands to millions) and heterogeneous low-level features to the lower dimensional (thousands) vectors, and the latter ensures fast serving. Built on top of a representative DNN model called Deep Crossing, and two forest/tree-based models including XGBoost and LightGBM, a two-step Deep Embedding Forest algorithm is demonstrated to achieve on-par or slightly better performance as compared with the DNN counterpart, with only a fraction of serving time on conventional hardware. After comparing with a joint optimization algorithm called partial fuzzification, also proposed in this paper, it is concluded that the two-step Deep Embedding Forest has achieved near optimal performance. Experiments based on large scale data sets (up to 1 billion samples) from a major sponsored search engine proves the efficacy of the proposed model.

研究动机与目标

• 为解决尽管深度神经网络（DNN）性能强大，但在生产系统中推理成本过高的问题。
• 克服基于树的模型在处理高维、异构特征时需要大量人工特征工程的局限性。
• 开发一种混合架构，利用 DNN 实现自动特征学习，同时利用树模型实现低成本推理。
• 在无需专用加速器（如 GPU、FPGA）的标准 CPU 硬件上，实现高效、可扩展的推理服务。
• 证明两步训练策略相比端到端联合优化，可实现接近最优的性能。

提出的方法

• 该模型使用基于 Deep Crossing 的 DNN 主干网络，从高维异构特征（如文本和类别变量）中学习低维密集嵌入。
• 嵌入层的输出被输入到基于树的模型（如 XGBoost 或 LightGBM）中，通过决策路径实现快速推理。
• 采用两步训练流程：首先使用预训练的 DNN 权重初始化嵌入层，然后在嵌入特征上训练树层。
• 引入一种称为部分模糊化的联合优化技术，通过梯度反向传播同时优化树参数和嵌入表示。
• 树层采用可微分的软分割机制，其中每个内部节点应用基于 Sigmoid 的路由函数，以确定向左或向右的转移概率，从而实现梯度在树结构中的流动。
• 最终预测通过叶节点输出的加权和计算得出，原始得分经 Sigmoid 函数变换后生成最终概率。

实验结果

研究问题

• RQ1 结合 DNN 与基于树的模型的混合模型，能否在保持树模型低推理成本的同时，实现 DNN 水平的性能？
• RQ2 与端到端联合优化相比，该混合设置下的两步训练策略在效果上如何？
• RQ3 DNN 学习到的嵌入在无需人工特征工程的前提下，能在多大程度上提升基于树模型的性能？
• RQ4 所提出的模型能否在十亿样本数据集上实现扩展，并在标准 CPU 硬件上保持低推理延迟？
• RQ5 与替代的联合优化方法相比，部分模糊化算法在收敛性和最终性能方面表现如何？

主要发现

• 两步训练的 Deep Embedding Forest 方法在大规模信息流广告搜索数据上，性能与完整 DNN 基线持平或略优。
• 推理时间被减少到 DNN 模型的几分之一，在标准 CPU 硬件上实现了接近树模型的推理速度。
• 该模型展现出强大的可扩展性，成功在高达 10 亿样本的数据集上进行训练和推理。
• 部分模糊化联合优化方法收敛至接近最优性能，验证了两步训练方法的有效性。
• 该模型在不同基于树的主干网络（包括 XGBoost 和 LightGBM）上均保持高性能，显示出对模型选择的鲁棒性。
• 可微分的软分割机制实现了对树结构的有效反向传播，使得嵌入表示与树参数能够联合优化。