[论文解读] A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning

Valeriia Cherepanova, R. V. Levin+6 more|arXiv (Cornell University)|Nov 10, 2023

Machine Learning and Data Classification被引用 6

一句话总结

本文提出了一种面向表格深度学习中特征选择的性能驱动基准，通过在真实数据集上引入合成的冗余特征（噪声、损坏、二阶特征）来评估方法性能。提出了一种基于输入梯度的Lasso类比方法——Deep Lasso，用于神经网络，其在处理具有挑战性的损坏或工程化特征时，显著提升了下游模型的准确率与鲁棒性，优于经典方法。

ABSTRACT

Academic tabular benchmarks often contain small sets of curated features. In contrast, data scientists typically collect as many features as possible into their datasets, and even engineer new features from existing ones. To prevent overfitting in subsequent downstream modeling, practitioners commonly use automated feature selection methods that identify a reduced subset of informative features. Existing benchmarks for tabular feature selection consider classical downstream models, toy synthetic datasets, or do not evaluate feature selectors on the basis of downstream performance. Motivated by the increasing popularity of tabular deep learning, we construct a challenging feature selection benchmark evaluated on downstream neural networks including transformers, using real datasets and multiple methods for generating extraneous features. We also propose an input-gradient-based analogue of Lasso for neural networks that outperforms classical feature selection methods on challenging problems such as selecting from corrupted or second-order features.

研究动机与目标

• 解决表格深度学习中特征选择缺乏真实、基于性能的基准问题。
• 在包含多种类型冗余特征（噪声、损坏、二阶特征）的真实世界数据集上评估特征选择方法。
• 开发并验证一种兼容深度学习的特征选择方法，以提升下游神经网络的性能。
• 证明经典特征选择方法在实践中常见的复杂特征设置下表现不佳。
• 建立一个可复现的基准，以指导未来在深度表格特征选择领域的研究。

提出的方法

• 使用真实表格数据集，并添加三类冗余特征：随机噪声、损坏特征（如打乱或扰动）以及二阶特征（如成对交互）。
• 以深度神经网络（MLP、Transformer、XGBoost、随机森林）的下游性能作为主要评估指标，评估特征选择方法。
• 提出Deep Lasso，一种可微分的、基于输入梯度的特征选择方法，受Lasso启发，根据特征对模型预测的梯度影响进行惩罚。
• 通过在输入梯度上施加可微分的L1正则化进行训练，实现端到端优化，从而识别并抑制无信息特征。
• 将表格Transformer的注意力图作为额外的特征选择信号，用于对比分析。
• 应用多种基线方法（Lasso、LassoNet、AGL、XGBoost、随机森林），并在同一基准上比较其性能。

Figure 1: Performance of FT-Transformer, MLP and XGBoost models when trained on data with random extra features. The X-axes indicates the percentage of uninformative features in the dataset and the Y-axes depict accuracy for classification problems and negative RMSE for regression datasets, so highe

实验结果

研究问题

• RQ1 当在真实表格数据上的深度神经网络上训练时，现有特征选择方法能否有效识别出有信息的特征？
• RQ2 在特征损坏或高阶特征工程等现实挑战下，特征选择方法的表现如何？
• RQ3 像Deep Lasso这样基于梯度的、可微分的特征选择方法，是否在表格深度学习中优于经典、不可微分的方法？
• RQ4 与传统方法相比，表格Transformer中的注意力机制在多大程度上能改善特征选择？
• RQ5 当基于下游神经网络准确率而非代理指标进行评估时，特征选择方法之间是否存在显著的性能差距？

主要发现

• Deep Lasso在MLP和Transformer模型上均取得了最高的下游性能，在所有基准设置下均优于所有基线方法。
• 在损坏特征设置下，Deep Lasso在MLP上的测试AUC达到0.805±0.002，在FT上的测试AUC达到0.819±0.001，显著优于Lasso（0.807±0.001）和XGBoost（0.803±0.003）。
• 在二阶特征设置下，Deep Lasso在MLP上的测试AUC为0.805±0.002，在FT上的测试AUC为0.819±0.001，优于表现第二好的方法AGL超过0.01 AUC。
• 经典方法如Lasso和XGBoost在损坏特征下性能下降明显，AUC分别降至0.793±0.003和0.803±0.003，表明其鲁棒性较差。
• 使用表格Transformer的注意力图可获得具有竞争力的结果，但在高噪声或损坏设置下仍不及Deep Lasso。
• 该基准揭示了不同方法在特征选择性能上的显著差异，且仅Deep Lasso在所有具有挑战性的特征类型下均保持高性能。

Figure 2: Percent of random, corrupted, and second-order features selected by different feature selection algorithms. Importance rank correlation refers to pair-wise feature importance Spearman correlation averaged across all feature selection algorithms and datasets. Random features are less often