[论文解读] Faster feature selection with a Dropping Forward-Backward algorithm

Thu L. N. Nguyen|arXiv (Cornell University)|Oct 17, 2019

Sparse and Compressive Sensing Techniques参考文献 10被引用 4

一句话总结

本文提出了一种新型的下压前向-后向（DFB）算法，用于在高维数据中实现更快的特征选择，通过在前向选择过程中动态丢弃无关特征来加速训练。与逐步选择相比，该方法将计算时间减少了高达65.77%，同时保持了相近的误差率和特征集质量，尤其在 $p \gg n$ 情况下表现更优。

ABSTRACT

In this era of big data, feature selection techniques, which have long been proven to simplify the model, makes the model more comprehensible, speed up the process of learning, have become more and more important. Among many developed methods, forward and stepwise feature selection regression remained widely used due to their simplicity and efficiency. However, they all involving rescanning all the un-selected features again and again. Moreover, many times, the backward steps in stepwise deem unnecessary, as we will illustrate in our example. These remarks motivate us to introduce a novel algorithm that may boost the speed up to 65.77% compared to the stepwise procedure while maintaining good performance in terms of the number of selected features and error rates. Also, our experiments illustrate that feature selection procedures may be a better choice for high-dimensional problems where the number of features highly exceeds the number of samples.

研究动机与目标

• 为解决传统前向选择和逐步选择方法中存在的低效问题，这些方法反复扫描未选择的特征，可能导致冗余特征的引入。
• 开发一种更快、更高效的特征选择方法，同时保持较低的误差率和最少的特征数量。
• 证明在 $p \gg n$ 问题中，特征选择可优于特征提取方法（如PCA），原因在于更优的协方差估计。
• 表明运行时间不仅取决于数据维度，还受模型稀疏性的影响，从而影响算法设计。
• 提供一种实用且可配置的算法，支持可调阈值（$\alpha$, $\beta$），并具备提前停止或特征排序功能。

提出的方法

• DFB算法将前向选择与动态后向剔除相结合：特征按准则改进程度依次添加，随后立即检查是否应被移除，以防止不再具有显著贡献的特征累积。
• 每次前向添加后，算法会检查并移除不再满足 $\beta$-移除阈值的特征，从而避免冗余特征的积累。
• 该方法采用双阶段循环：前向阶段添加特征，随后进入‘下压’阶段，在下一次前向步骤前移除无贡献特征。
• 当无法在 $\alpha$ 阈值范围内实现进一步改进，或达到最大特征数量时，算法终止。
• 支持可配置的阈值（$\alpha$ 用于进入，$\beta$ 用于移除），并可基于前向阶段的加入顺序输出特征排序。
• 该方法在模拟数据和真实数据集（包括Biodegradation、Ionosphere、Optic、Satellite和Parkinson）上使用LDA及其他分类器进行了评估。

实验结果

研究问题

• RQ1 混合前向-后向特征选择方法是否能显著减少训练时间，同时不降低模型性能？
• RQ2 特征选择的运行时间如何依赖于数据维度和模型稀疏性？
• RQ3 在 $p \gg n$ 问题中，特征选择是否优于特征提取方法（如PCA）？
• RQ4 在前向选择过程中动态移除冗余特征是否比标准的逐步选择或前向-后向方法更高效？
• RQ5 $\alpha$ 和 $\beta$ 阈值如何影响特征选择过程的速度与稳定性？

主要发现

• 在 $p=70$ 的模拟数据上，DFB算法比前向-后向方法快21.89%，比逐步选择快23.11%，且特征数量相同（4个）。
• 在Optic数据集上，DFB方法耗时24.045秒，仅为逐步选择耗时的34.23%，且仅为前向-后向方法耗时的66.29%。
• 在Parkinson数据集上，DFB将运行时间从逐步选择的25.486秒减少至2.691秒，提速89.3%，同时仅选择了10个特征，而逐步选择选择了24个。
• 在所有真实数据集中，DFB的误差率均与逐步选择或前向-后向方法相当或更优，尤其在LDA分类中显著优于PCA。
• 该算法的运行时间并非严格与特征数量成正比；例如，包含753个特征的Parkinson数据集运行速度反而快于仅64个特征的Optic数据集，表明其对模型稀疏性有强依赖性。
• 在1000次模拟中，所选特征数量在各方法间保持稳定，DFB从未超过逐步选择所选特征数的两倍。