[论文解读] SPSA-FSR: Simultaneous Perturbation Stochastic Approximation for Feature Selection and Ranking

Zeren D. Yenice, Niranjan Adhikari+4 more|arXiv (Cornell University)|Apr 16, 2018

Neural Networks and Applications参考文献 3被引用 9

一句话总结

本文提出了一种新型基于包装器的特征选择算法 SPSA-FS，通过将 Barzilai-Borwein (BB) 方法与同时扰动随机逼近 (SPSA) 框架相结合，加速了特征选择中的收敛速度。通过平滑步长和梯度估计，SPSA-FS 在仅造成最小精度损失的前提下显著降低了计算成本，在回归任务中尤其优于基线包装器方法，以更少的特征实现了更低的不准确性率（1−R²）。

ABSTRACT

This manuscript presents the following: (1) an improved version of the Binary Simultaneous Perturbation Stochastic Approximation (SPSA) Method for feature selection in machine learning (Aksakalli and Malekipirbazari, Pattern Recognition Letters, Vol. 75, 2016) based on non-monotone iteration gains computed via the Barzilai and Borwein (BB) method, (2) its adaptation for feature ranking, and (3) comparison against popular methods on public benchmark datasets. The improved method, which we call SPSA-FSR, dramatically reduces the number of iterations required for convergence without impacting solution quality. SPSA-FSR can be used for feature ranking and feature selection both for classification and regression problems. After a review of the current state-of-the-art, we discuss our improvements in detail and present three sets of computational experiments: (1) comparison of SPSA-FS as a (wrapper) feature selection method against sequential methods as well as genetic algorithms, (2) comparison of SPSA-FS as a feature ranking method in a classification setting against random forest importance, chi-squared, and information main methods, and (3) comparison of SPSA-FS as a feature ranking method in a regression setting against minimum redundancy maximum relevance (MRMR), RELIEF, and linear correlation methods. The number of features in the datasets we use range from a few dozens to a few thousands. Our results indicate that SPSA-FS converges to a good feature set in no more than 100 iterations and therefore it is quite fast for a wrapper method. SPSA-FS also outperforms popular feature selection as well as feature ranking methods in majority of test cases, sometimes by a large margin, and it stands as a promising new feature selection and ranking method.

研究动机与目标

• 解决基于包装器的特征选择中 Binary SPSA (BSPSA) 算法收敛缓慢的问题。
• 在保持高预测精度的同时降低特征选择中的计算成本。
• 提升在分类与回归任务中识别最优特征子集的效率。
• 通过集成自适应步长与梯度估计，平衡包装器方法的运行时间与精度。
• 证明 SPSA-FS 相较于现有包装器方法的优越性能，尤其在特征集有限的回归任务中。

提出的方法

• 将同时扰动随机逼近 (SPSA) 算法适配于二值特征选择，采用随机伪梯度下降框架。
• 集成 Barzilai-Borwein (BB) 方法以动态调整步长，提升收敛速度与稳定性。
• 利用同时扰动估计性能指标（如误分类误差或 R²）的梯度，每轮迭代仅需两次函数评估，与特征维度无关。
• 采用特征子集的二值表示（0 表示排除，1 表示包含），并通过梯度估计的随机逼近方法更新子集。
• 在迭代过程中保持平均梯度估计，以降低方差并提高收敛可靠性。
• 将 BB 方法的自适应步长策略与 SPSA 相结合，以减少计算开销，同时保持解的质量。

实验结果

研究问题

• RQ1 将 Barzilai-Borwein 方法与 SPSA 结合，是否能在不牺牲精度的前提下提升基于包装器的特征选择中的收敛速度？
• RQ2 在多种分类数据集上，SPSA-FS 与其它包装器方法相比，在误分类误差方面表现如何？
• RQ3 当使用更少的解释变量时，SPSA-FS 在回归任务中相较于基线包装器，其不准确性率（1−R²）降低的程度如何？
• RQ4 SPSA-FS 是否在计算成本与预测性能之间实现了优于 BSPSA 及其他包装器算法的更好权衡？
• RQ5 在哪些场景下（分类 vs. 回归，特征数量），SPSA-FS 相较于现有方法展现出最显著的优势？

主要发现

• SPSA-FS 在保持与 BSPSA 相当或更优精度的同时，显著降低了计算成本。
• 在回归任务中，SPSA-FS 即使仅使用 30% 的特征，也优于其他包装器方法，实现了更低的不准确性率（1−R²）。
• SPSA-FS 在使用更少特征时即达到最优性能，当所有特征均被使用（100% 特征集）时，与其他方法的性能差异才变得微不足道。
• 在分类任务中，SPSA-FS 在部分数据集中实现了高于其他包装器的精度，即使在表现较差时，性能差异也较小。
• 将 BB 方法与 SPSA 结合，减少了模型重新训练的迭代次数，从而在不显著损失解质量的前提下加快了收敛速度。
• SPSA-FS 在多种数据集（包括 Sonar、Libras、Musk、USPS 和 Boston Housing）中表现出鲁棒性，效率与精度均持续提升。