[论文解读] Feature Selection and Feature Extraction in Pattern Analysis: A Literature Review

Benyamin Ghojogh, Maria N. Samad+5 more|arXiv (Cornell University)|May 7, 2019

Neural Networks and Applications被引用 68

一句话总结

一份关于模式分析中特征选择和特征提取的理论、动机与方法类别的综合综述，含应用与比较。

ABSTRACT

Pattern analysis often requires a pre-processing stage for extracting or selecting features in order to help the classification, prediction, or clustering stage discriminate or represent the data in a better way. The reason for this requirement is that the raw data are complex and difficult to process without extracting or selecting appropriate features beforehand. This paper reviews theory and motivation of different common methods of feature selection and extraction and introduces some of their applications. Some numerical implementations are also shown for these methods. Finally, the methods in feature selection and extraction are compared.

研究动机与目标

• 定义在模式分析中预处理在提升判别性或表示能力方面的作用。
• 对特征选择与特征提取方法及其标准进行分类与解释。
• 调研常见的过滤器和包装器特征选择方法及其实际考虑因素。
• 调查降维和特征提取技术，包括线性和非线性方法，并讨论应用。

提出的方法

• 介绍特征、样本和目标的问题设定及形式化记号。
• 将特征选择描述为通过选择原始特征子集来降维，并讨论过滤器与包装器的范式。
• 详述主要的过滤器方法：相关标准、互信息、卡方、Markov blanket、基于一致性的过滤器、快速相关性过滤器、interact、mRMR。
• 概述包装器方法：序贯特征选择（SFS/SBS，SFFS/SFBS）和元启发式算法（PSO，GA）。
• 将特征提取描述为学习一种新的表示（p < d），包括PCA（以及对偶PCA）、核PCA、MDS、Isomap、以及LLE，并附有监督与无监督、线性与非线性的说明。

实验结果

研究问题

• RQ1 选择信息性特征所使用的主要标准与权衡是什么？
• RQ2 在性能和计算复杂性方面，过滤器与包装器方法如何比较？
• RQ3 常见的降维和特征提取技术有哪些？应在何时使用每种方法？
• RQ4 非线性流形方法（Isomap、LLE、核PCA）在实际中与线性方法的关系如何？

主要发现

• 文献将特征选择分为基于过滤器和包装器的方法，并包含各种标准（相关性与冗余）。
• 本文调查了若干明确的标准，包括相关性、互信息、卡方以及基于Markov blanket的方法。
• 包装器方法将特征搜索与模型评估结合在一起，包括序贯和元启发式策略。
• 特征提取简化为学习一种新的较低维表示，核心技术包括PCA、对偶PCA、核PCA、MDS、Isomap和LLE。
• 非线性流形方法（Isomap、LLE、核PCA）解决了线性方法在捕捉数据几何结构方面的局限性。
• 论文在统一框架下连接了不同的降维方法，并讨论了样本外推断等问题。