[论文解读] Discovering Support and Affiliated Features from Very High Dimensions

Yiteng Zhai, Mingkui Tan+2 more|arXiv (Cornell University)|Jun 27, 2012

Image Retrieval and Classification Techniques参考文献 19被引用 27

一句话总结

该论文提出了一种新颖的嵌入式特征选择方法，通过带相关性约束的切割平面优化策略，在极高维数据中识别出最优的、互不相关的支持特征及其关联的共线性特征。该方法通过联合发现判别性特征及其相关特征组，在不增加额外计算成本的情况下，提升了预测性能和可解释性。

ABSTRACT

In this paper, a novel learning paradigm is presented to automatically identify groups of informative and correlated features from very high dimensions. Specifically, we explicitly incorporate correlation measures as constraints and then propose an efficient embedded feature selection method using recently developed cutting plane strategy. The benefits of the proposed algorithm are two-folds. First, it can identify the optimal discriminative and uncorrelated feature subset to the output labels, denoted here as Support Features, which brings about significant improvements in prediction performance over other state of the art feature selection methods considered in the paper. Second, during the learning process, the underlying group structures of correlated features associated with each support feature, denoted as Affiliated Features, can also be discovered without any additional cost. These affiliated features serve to improve the interpretations on the learning tasks. Extensive empirical studies on both synthetic and very high dimensional real-world datasets verify the validity and efficiency of the proposed method.

研究动机与目标

• 解决在极高维数据集中识别信息丰富且互不相关的特征的挑战。
• 自动发现与每个支持特征相关的潜在共线性特征组结构。
• 通过选择最优的判别性特征子集，提升预测性能。
• 通过识别与每个支持特征相关的关联特征，增强模型的可解释性。
• 开发一种高效、嵌入式的特征选择方法，实现发现共线性特征组时无额外计算成本。

提出的方法

• 将特征选择建模为带有显式相关性约束的混合整数优化问题。
• 采用一种新近发展的切割平面策略，高效求解非凸、组合优化问题。
• 将特征之间的相关性度量作为约束，以指导选择互不相关的支持特征。
• 在优化过程中，同时识别出支持特征及其关联的共线性特征。
• 该方法的嵌入式特性确保特征选择与特征组发现同步完成于单一学习过程中。
• 优化框架支持在极高维数据集上实现可扩展的计算。

实验结果

研究问题

• RQ1 我们能否在高维设置下，识别出一个最小且互不相关的特征子集，以最大化预测性能？
• RQ2 我们能否在不增加额外计算开销的情况下，发现与每个支持特征相关的共线性特征组？
• RQ3 引入相关性约束如何影响特征选择的稳定性和性能？
• RQ4 该方法在多大程度上通过揭示特征组结构来提升可解释性？
• RQ5 与最先进方法相比，该方法在真实世界高维数据集上的可扩展性与性能表现如何？

主要发现

• 在合成数据集和真实世界数据集上，所提出的方法在预测性能方面显著优于当前最先进特征选择方法。
• 该算法成功识别出互不相关且高度判别性的支持特征，从而实现更好的泛化能力。
• 关联特征（即与每个支持特征相关联的共线性特征）被自动发现，并显著增强了模型的可解释性。
• 通过广泛的实证研究验证，该方法在极高维数据上表现出高度的效率与可扩展性。
• 在真实世界数据集上的实证结果证实了该方法在实际机器学习应用中的有效性与鲁棒性。
• 相关性约束的引入使得所选特征子集比忽略特征相关性的方法更加稳定且更具实际意义。