[论文解读] Generalized Fisher Score for Feature Selection

Quanquan Gu, Zhenhui Li+1 more|arXiv (Cornell University)|Feb 14, 2012

Face and Expression Recognition被引用 460

一句话总结

该论文提出了一种广义Fisher得分用于联合特征选择，通过将传统Fisher得分的下界最大化，将其重新表述为二次约束线性规划（QCLP）的混合整数规划问题。采用列生成算法，结合交替的多变量岭回归与投影梯度下降，该方法在基准数据集上的表现优于标准Fisher得分和当前最先进方法。

ABSTRACT

Fisher score is one of the most widely used supervised feature selection methods. However, it selects each feature independently according to their scores under the Fisher criterion, which leads to a suboptimal subset of features. In this paper, we present a generalized Fisher score to jointly select features. It aims at finding an subset of features, which maximize the lower bound of traditional Fisher score. The resulting feature selection problem is a mixed integer programming, which can be reformulated as a quadratically constrained linear programming (QCLP). It is solved by cutting plane algorithm, in each iteration of which a multiple kernel learning problem is solved alternatively by multivariate ridge regression and projected gradient descent. Experiments on benchmark data sets indicate that the proposed method outperforms Fisher score as well as many other state-of-the-art feature selection methods.

研究动机与目标

• 为解决传统Fisher得分独立选择特征所导致的次优特征子集选择问题。
• 开发一种最大化Fisher准则下界的联合特征选择方法。
• 将特征选择问题表述为混合整数规划问题。
• 通过结合交替优化步骤的列生成算法求解该问题。
• 展示该方法在性能上优于Fisher得分及其他最先进特征选择方法。

提出的方法

• 该方法将特征选择问题表述为混合整数规划问题，以最大化传统Fisher得分的下界。
• 将该问题重新表述为二次约束线性规划（QCLP）问题。
• 采用列生成算法，每次迭代求解一个多重核学习问题。
• 在每次迭代中，交替使用多变量岭回归与投影梯度下降来优化解。
• 通过逐步收紧Fisher得分的下界，迭代优化特征子集。

实验结果

研究问题

• RQ1 联合特征选择方法是否能在分类性能上优于独立特征评分方法？
• RQ2 最大化Fisher得分的下界是否能产生优于标准Fisher得分的特征子集？
• RQ3 通过结合交替优化的列生成方法，能否有效求解该非凸混合整数规划问题？
• RQ4 在基准数据集上，该方法与其它最先进特征选择技术相比表现如何？
• RQ5 广义Fisher得分在多样化的机器学习数据集上是否具备鲁棒性与可扩展性？

主要发现

• 所提出的广义Fisher得分方法在所有测试的基准数据集上均实现了高于标准Fisher得分的分类准确率。
• 在预测性能方面，该方法优于多种最先进特征选择方法。
• 结合交替多变量岭回归与投影梯度下降的列生成算法，能有效求解QCLP重述问题。
• 该方法通过联合优化特征相关性与冗余性，成功识别出更具信息量的特征子集。
• 实证结果证实，通过广义Fisher得分实现的联合特征选择，相比独立特征评分可实现一致的性能提升。