[论文解读] Towards Large-scale and Ultrahigh Dimensional Feature Selection via Feature Generation

Mingkui Tan, Ivor W. Tsang+1 more|arXiv (Cornell University)|Sep 24, 2012

Face and Expression Recognition被引用 4

一句话总结

本文提出一种自适应特征缩放（AFS）方案，结合特征生成方法，通过半无限规划实现大规模、超高维特征选择。通过重新表述AFS模型以处理缩放偏差，并实现精确的最坏情况分析，该方法实现了全局收敛性，并支持结构化分组选择，在多种数据集上的泛化性能和训练效率优于现有方法。

ABSTRACT

In many real-world applications such as text mining, it is desirable to select the most relevant features or variables to improve the generalization ability, or to provide a better interpretation of the prediction models. In this paper, a novel adaptive feature scaling (AFS) scheme is proposed by introducing a feature scaling vector d ∈ [0, 1] m to alleviate the bias problem brought by the scaling bias of the diverse features. By reformulating the resultant AFS model to semi-infinite programming problem, a novel feature generating method is presented to identify the most relevant features for classification problems. In contrast to the traditional feature selection methods, the new formulation has the advantage of solving extremely high-dimensional and large-scale problems. With an exact solution to the worst-case analysis in the identification of relevant features, the proposed feature generating scheme converges globally. More importantly, the proposed scheme facilitates the group selection with or without special structures. Comprehensive experiments on a wide range of synthetic and real-world datasets demonstrate that the proposed method achieves better or competitive performance compared with the existing methods on (group) feature selection in terms of generalization performance and training efficiency. The C++ and MATLAB implementations of our algorithm can be available at

研究动机与目标

• 解决高维特征选择中因各类特征幅度不一致而产生的缩放偏差问题。
• 在文本挖掘等应用中常见的大规模、超高维数据集中，实现高效且准确的特征选择。
• 开发一种支持个体特征与结构化分组特征选择的全局收敛方法。
• 相比现有特征选择技术，提升泛化性能和训练效率。

提出的方法

• 引入自适应特征缩放向量 d ∈ [0, 1]^m，以缓解异质特征间的缩放偏差。
• 将AFS模型重新表述为半无限规划问题，以在无限约束下实现鲁棒优化。
• 开发一种特征生成方法，通过优化框架中的最坏情况分析识别最相关特征。
• 利用精确的最坏情况分析，确保特征选择过程的全局收敛性。
• 支持非结构化与结构化分组选择，包括存在或不存在预定义分组结构的情形。
• 使用C++和MATLAB实现该算法，以支持实际部署与评估。

实验结果

研究问题

• RQ1 如何有效缓解高维特征空间中的缩放偏差，以提升特征选择的准确性？
• RQ2 半无限规划的重构是否能够在超高维设置下实现可扩展且全局收敛的特征选择？
• RQ3 与现有特征选择技术相比，该方法在泛化性能和训练速度方面的提升程度如何？
• RQ4 该方法在存在或不存在预定义分组结构的情况下，处理结构化分组选择的能力如何？
• RQ5 最坏情况分析框架是否能确保在识别相关特征时的鲁棒性与收敛性？

主要发现

• 所提方法在合成数据集和真实世界数据集上，泛化性能优于或与现有特征选择方法相当。
• 该算法在大规模和超高维设置下表现出卓越的训练效率。
• 通过半无限规划重构中的精确最坏情况分析，保证了全局收敛性。
• 该方法支持灵活的分组选择，包括存在或不存在预定义分组结构的情形。
• 在多样化数据集上的实证结果证实了自适应特征缩放与特征生成框架的有效性。
• C++与MATLAB实现代码已公开，支持可复现性与实际应用。