[论文解读] Feature Selection Tutorial with Python Examples

Pádraig Cunningham, Bahavathy Kathirgamanathan+1 more|arXiv (Cornell University)|Jun 11, 2021

Gaussian Processes and Bayesian Inference参考文献 22被引用 8

一句话总结

本教程介绍了用于监督机器学习的实用、基于Python实现的特征选择方法，涵盖包装法（wrappers）、过滤法（filters）、嵌入法（embedded methods）以及通过主成分分析（PCA）和线性判别分析（LDA）进行的降维。结果表明，尽管特征选择对分类器准确率的提升有限，但其主要价值在于提升模型可解释性、降低数据收集成本以及提高计算效率。

ABSTRACT

In Machine Learning, feature selection entails selecting a subset of the available features in a dataset to use for model development. There are many motivations for feature selection, it may result in better models, it may provide insight into the data and it may deliver economies in data gathering or data processing. For these reasons feature selection has received a lot of attention in data analytics research. In this paper we provide an overview of the main methods and present practical examples with Python implementations. While the main focus is on supervised feature selection techniques, we also cover some feature transformation methods.

研究动机与目标

• 提供一个基于代码的实用教程，介绍使用Python进行机器学习中特征选择的方法。
• 帮助研究人员识别出能提升模型可解释性并降低计算与数据收集成本的有效特征子集。
• 证明特征选择在提升模型洞察力和效率方面带来的收益，远超过其在准确率提升方面的贡献。
• 指导研究人员遵循推荐的工作流程：先进行初步的过滤分析（如随机森林重要性），再通过包装法进行子集选择以实现最优性能。

提出的方法

• 使用包装法，通过训练和测试分类器来评估特征子集，以性能优化为目标（例如，顺序前向选择法）。
• 采用过滤法，基于统计标准（如相关性、互信息、Fisher准则）独立于分类器对特征进行排序。
• 应用嵌入法，使特征选择在模型训练过程中自然产生，例如L1正则化逻辑回归或决策树。
• 引入通过主成分分析（PCA）和线性判别分析（LDA）进行的降维，将数据投影到低维空间，而不选择原始特征。
• 采用混合策略，结合基于过滤法的特征排序与基于包装法的子集选择，以在效率与性能之间取得平衡。
• 在附录中提供所有方法的可复现Python笔记本链接，支持动手实现。

实验结果

研究问题

• RQ1 在监督学习任务中，哪些特征选择方法最有效地提升模型性能？
• RQ2 过滤法、包装法与嵌入法在不同数据集上识别相关特征方面表现如何比较？
• RQ3 特征选择在不牺牲模型准确率的前提下，能在多大程度上降低数据收集与计算成本？
• RQ4 特征选择是否能提供超越性能提升的数据结构与特征重要性方面的有意义洞察？
• RQ5 在实际应用中，哪种工作流程最有效，能平衡准确率、效率与可解释性？

主要发现

• 特征选择对分类器准确率的提升作用有限，因为现代机器学习模型对噪声或冗余特征具有较强的鲁棒性。
• 特征选择的主要优势在于提升模型可解释性，并加深对哪些特征驱动预测结果的理解。
• 尽管计算成本较高，包装法仍被推荐用于子集选择，因其与分类器性能高度一致。
• 随机森林特征重要性在初步分析中表现良好，能有效揭示特征在上下文中的相关性。
• 在线性判别分析（LDA）中，penguin数据集的保留集准确率达到97%，证明了LDA在降维与分类两方面的有效性。
• 现实世界数据的固有维度通常远低于原始特征数量，这支持使用PCA和LDA等降维技术。