[论文解读] AutoCross: Automatic Feature Crossing for Tabular Data in Real-World Applications

Yuanfei Luo, Mengshuo Wang+6 more|arXiv (Cornell University)|Apr 29, 2019

Data Mining Algorithms and Applications参考文献 42被引用 8

一句话总结

AutoCross 是一种用于表格数据的自动化特征交叉系统，通过在树状结构空间中使用束搜索（beam search），高效生成高阶交叉特征。该方法仅需极少的用户专业知识，即可显著提升线性模型与深度学习模型的性能，同时保持低推理延迟和在分布式环境中的可扩展性。

ABSTRACT

Feature crossing captures interactions among categorical features and is useful to enhance learning from tabular data in real-world businesses. In this paper, we present AutoCross, an automatic feature crossing tool provided by 4Paradigm to its customers, ranging from banks, hospitals, to Internet corporations. By performing beam search in a tree-structured space, AutoCross enables efficient generation of high-order cross features, which is not yet visited by existing works. Additionally, we propose successive mini-batch gradient descent and multi-granularity discretization to further improve efficiency and effectiveness, while ensuring simplicity so that no machine learning expertise or tedious hyper-parameter tuning is required. Furthermore, the algorithms are designed to reduce the computational, transmitting, and storage costs involved in distributed computing. Experimental results on both benchmark and real-world business datasets demonstrate the effectiveness and efficiency of AutoCross. It is shown that AutoCross can significantly enhance the performance of both linear and deep models.

研究动机与目标

• 在真实业务场景中自动化生成来自表格型数据的高阶交叉特征。
• 减少特征工程中对机器学习专业知识和超参数调优的需求。
• 在计算、存储和传输成本较低的前提下，实现在分布式计算环境中的高效可扩展特征交叉。
• 通过高效且可解释的特征交叉，提升线性模型与深度学习模型的性能。
• 确保在高吞吐量生产系统中在线部署时的低推理延迟。

提出的方法

• AutoCross 在树状结构空间中使用束搜索，高效探索并生成高阶交叉特征。
• 采用连续的小批量梯度下降法优化交叉特征选择，提升训练效率。
• 应用多粒度离散化处理不同抽象层次的类别型特征，增强特征表示能力。
• 系统专为分布式计算设计，最大限度减少大规模部署中的数据传输与存储成本。
• 无需人工特征工程或大量超参数调优即可生成交叉特征。
• 该方法可无缝集成至线性模型（如 LR）和深度模型（如 Wide & Deep、xDeepFM），实现端到端性能提升。

实验结果

研究问题

• RQ1 在无需专家干预的情况下，表格数据中的自动化特征交叉能否显著提升模型性能？
• RQ2 在大规模、分布式环境中，如何高效探索与选择高阶特征交叉？
• RQ3 哪些技术可降低分布式特征生成中的计算、存储与通信成本？
• RQ4 在真实生产环境中，自动生成的交叉特征的推理延迟与基于深度学习的替代方案相比如何？
• RQ5 自动化特征交叉能否在保持高效率的同时，确保生产系统中的简洁性与可解释性？

主要发现

• AutoCross 在基准数据集和真实世界表格数据集上显著提升了线性模型与深度学习模型的性能。
• 在 Criteo 数据集上，AutoCross 将训练时间缩短至 3.08 小时，优于次优方法的 5.19 小时。
• 在 Criteo 数据集上，AC+LR 的推理延迟低至 0.00156 ms，较 xDeepFM 提升超过 100 倍。
• 该系统推理速度优于深度学习模型 xDeepFM（Criteo 上为 0.18985 ms），AC+LR 仅需 0.00156 ms。
• AutoCross 展现出强大的可扩展性，即使在特征生成时间长达 5.19 小时的真实业务数据集上，仍优于基线方法。
• 连续小批量梯度下降与多粒度离散化技术的结合，在不增加复杂度的前提下，同时提升了训练效率与模型效果。