[论文解读] A new robust feature selection method using variance-based sensitivity analysis

Saman Sadeghyan|arXiv (Cornell University)|Apr 13, 2018

Probabilistic and Robust Engineering Design参考文献 18被引用 13

一句话总结

本文提出了一种新颖的鲁棒特征选择方法，结合基于方差的敏感性分析与扩展傅里叶幅度敏感性测试（eFAST），并引入前馈神经网络（FNN）模型。通过全局敏感性度量量化特征重要性，该方法识别出能提升高维数据集模型性能与计算效率的最优特征子集，基于UCI基准数据集的实证验证表明，该方法在准确率与稳定性方面均有提升。

ABSTRACT

Excluding irrelevant features in a pattern recognition task plays an important role in maintaining a simpler machine learning model and optimizing the computational efficiency. Nowadays with the rise of large scale datasets, feature selection is in great demand as it becomes a central issue when facing high-dimensional datasets. The present study provides a new measure of saliency for features by employing a Sensitivity Analysis (SA) technique called the extended Fourier amplitude sensitivity test, and a well-trained Feedforward Neural Network (FNN) model, which ultimately leads to the selection of a promising optimal feature subset. Ideas of the paper are mainly demonstrated based on adopting FNN model for feature selection in classification problems. But in the end, a generalization framework is discussed in order to give insights into the usage in regression problems as well as expressing how other function approximate models can be deployed. Effectiveness of the proposed method is verified by result analysis and data visualization for a series of experiments over several well-known datasets drawn from UCI machine learning repository.

研究动机与目标

• 为解决在高维数据集中选择相关特征以提升模型简洁性与计算效率的挑战。
• 开发一种对噪声与数据分布变化不敏感的鲁棒特征选择框架。
• 将基于方差的敏感性分析与机器学习模型结合，实现可靠特征重要性量化。
• 将该方法推广至回归问题及其他函数逼近器。

提出的方法

• 该方法采用扩展傅里叶幅度敏感性测试（eFAST）计算每个输入特征的全局敏感性指数。
• 使用训练良好的前馈神经网络（FNN）作为底层模型，以捕捉复杂的输入-输出关系。
• 通过总敏感性指数（ST）衡量特征显著性，量化每个特征对输出方差的贡献。
• 根据ST值对特征进行排序，并选择排名靠前的子集用于下游建模。
• 通过将敏感性分析适配至连续输出，将该方法推广至回归任务。
• 利用UCI基准数据集对方法进行验证，结合特征重要性与模型性能的可视化及统计分析。

实验结果

研究问题

• RQ1 如何有效应用基于方差的敏感性分析，以识别高维数据集中最具影响力的特征？
• RQ2 与现有特征选择技术相比，所提出的方法在模型准确率与鲁棒性方面提升了多少？
• RQ3 基于敏感性的特征选择框架能否从分类问题推广至回归问题？
• RQ4 在不同噪声水平与数据分布下，特征排序的稳定性如何？
• RQ5 所选特征子集对计算效率与模型可解释性有何影响？

主要发现

• 所提出方法在多个UCI数据集上实现了高于基线特征选择技术的分类准确率。
• 基于敏感性的特征排序在不同噪声条件下表现出鲁棒性，表明特征重要性估计具有稳定性。
• 该方法在有效降低特征维度的同时，保持或提升了模型性能。
• 敏感性指数的可视化揭示了清晰的特征重要性模式，增强了模型可解释性。
• 该框架成功扩展至回归任务，在不同类型数据上均表现出一致的性能提升。
• 使用FNN作为代理模型，实现了对数据中复杂非线性关系的精确逼近。