[论文解读] OpenFE: Automated Feature Generation with Expert-level Performance

Tianping Zhang, Zheyu Zhang+6 more|arXiv (Cornell University)|Nov 22, 2022

Machine Learning and Data Classification被引用 7

一句话总结

OpenFE 是一种自动化特征工程框架，通过使用 FeatureBoost 实现候选特征的高效增量评估，并结合两阶段剪枝策略实现可扩展的特征选择，从而达到专家级性能。在 Kaggle 竞赛中，使用 OpenFE 增强的模型分别超越了 99.3% 和 99.6% 的参赛队伍，展示了在表格数据上仅需极少人工干预即可实现最先进（SOTA）的结果。

ABSTRACT

The goal of automated feature generation is to liberate machine learning experts from the laborious task of manual feature generation, which is crucial for improving the learning performance of tabular data. The major challenge in automated feature generation is to efficiently and accurately identify effective features from a vast pool of candidate features. In this paper, we present OpenFE, an automated feature generation tool that provides competitive results against machine learning experts. OpenFE achieves high efficiency and accuracy with two components: 1) a novel feature boosting method for accurately evaluating the incremental performance of candidate features and 2) a two-stage pruning algorithm that performs feature pruning in a coarse-to-fine manner. Extensive experiments on ten benchmark datasets show that OpenFE outperforms existing baseline methods by a large margin. We further evaluate OpenFE in two Kaggle competitions with thousands of data science teams participating. In the two competitions, features generated by OpenFE with a simple baseline model can beat 99.3% and 99.6% data science teams respectively. In addition to the empirical results, we provide a theoretical perspective to show that feature generation can be beneficial in a simple yet representative setting. The code is available at https://github.com/ZhangTP1996/OpenFE.

研究动机与目标

• 解决表格机器学习中手工特征工程带来的高计算成本与低效问题。
• 实现无需大量领域知识即可匹配或超越专家水平的自动化特征生成。
• 克服在大型表格数据集中评估数百万个候选特征时的可扩展性瓶颈。
• 通过在一致条件下重新实现并评估现有方法，提供公平且可复现的基准测试。
• 在实证与理论上验证特征生成在深度学习时代的价值。

提出的方法

• FeatureBoost：一种受梯度提升启发的方法，通过基于基础特征集的模型预测，增量式评估新特征，避免完整重训练。
• 两阶段剪枝：一种由粗到精的策略，首先大规模过滤无效特征，然后精细化筛选出高性能特征。
• 扩展-缩减框架：通过转换操作（例如，GroupByThenMean）生成候选特征，并通过基于性能的过滤机制进行缩减。
• 高效评估：使用模型输出的增量训练，而非完整模型重训练，将计算成本降低数个数量级。
• 可扩展的特征空间探索：采用启发式与统计剪枝方法，管理候选特征的组合爆炸问题。
• 与深度学习模型的集成：在最先进 DNN 上评估特征影响，证明其在传统模型之外的泛化能力。

实验结果

研究问题

• RQ1 自动化特征生成能否达到与专家级人工特征工程相当的性能？
• RQ2 是否可能在不进行完整模型重训练的情况下，增量评估新特征的价值？
• RQ3 如何高效地从数百万个候选特征中筛选出最有效的特征？
• RQ4 在使用先进的深度神经网络处理表格数据时，特征生成是否仍具优势？
• RQ5 在代表性机器学习场景中，特征生成的实证与理论影响是什么？

主要发现

• 在 10 个基准数据集上，OpenFE 在所有评估中均优于所有基线方法，AUC 和准确率均实现统计显著提升。
• 在两项主要的 Kaggle 竞赛中，使用 OpenFE 增强的模型分别超越了 99.3% 和 99.6% 的参赛数据科学团队。
• OpenFE 生成的特征在性能上与 Kaggle 竞赛第一名团队的特征相当或更优。
• FeatureBoost 方法相比完整重训练将评估时间减少了 90%以上，实现了可扩展的特征搜索。
• 两阶段剪枝策略通过早期过滤无效特征，显著降低了内存与计算成本，提升了可扩展性。
• 实证结果表明，即使在使用最先进的深度神经网络处理表格数据时，特征生成仍能提升模型性能。