[论文解读] Feature Selection and Feature Extraction in Pattern Analysis: A Literature Review

Benyamin Ghojogh, Maria N. Samad+5 more|arXiv (Cornell University)|May 7, 2019

Face and Expression Recognition参考文献 97被引用 44

一句话总结

本文综述了用于模式分析的特征选择与特征提取的理论、动机与应用，并对主要方法进行了简要的数值实现与比较的梳理。

ABSTRACT

Pattern analysis often requires a pre-processing stage for extracting or selecting features in order to help the classification, prediction, or clustering stage discriminate or represent the data in a better way. The reason for this requirement is that the raw data are complex and difficult to process without extracting or selecting appropriate features beforehand. This paper reviews theory and motivation of different common methods of feature selection and extraction and introduces some of their applications. Some numerical implementations are also shown for these methods. Finally, the methods in feature selection and extraction are compared.

研究动机与目标

• 在模式分析中说明预处理的必要性，以提高判别与表示能力。
• 对主要的特征选择与特征提取方法进行分类与解释。
• 概述实际实现以及每种方法旨在优化的目标（相关性、冗余性、一致性等）。
• 提供方法的对比视角及它们在分类、回归和聚类中的典型应用。

提出的方法

• 为特征选择/提取中使用的样本、特征与目标定义正式符号。
• 描述特征选择作为从 d 维降到 p 维的降维，其中 p ≤ d，所选特征构成原始特征的子集（特征选择）或形成一个新的特征空间（特征提取）。
• 详细说明过滤方法（相关性与冗余性）包括 CC/PCC、MI/IG、χ² 统计、马尔科夫毯、基于一致性的过滤、快速相关过滤以及基于交互的评估方法。
• 概述包装方法，其中模型嵌入子集搜索，包括序贯（SFS/SBS）及浮动变体，以及用于组合搜索的元启发式（PSO、GA）。
• 解释特征提取作为降维到 p < d，处理流形假设，区分有监督与无监督，以及线性与非线性方法。
• 概述流行的提取技术：PCA（包括对偶PCA）、核PCA、PCA、MDS、Isomap 与 LLE，并附注重重建、对样本外处理以及非线性性。

实验结果

研究问题

• RQ1 在模式分析中用于特征选择与特征提取的主要类别与标准是什么？
• RQ2 主要的过滤、包装与元启发式方法在目标与用法上有何差异？
• RQ3 常见的线性与非线性特征提取技术有哪些，它们如何处理样本外数据与非线性？
• RQ4 在分类、回归与聚类中，这些方法的实际考虑因素、局限性与典型应用是什么？
• RQ5 所评方法在相关性、冗余性、一致性与计算效率方面在概念上如何比较？

主要发现

• 本文将特征选择分为过滤和包装方法，并介绍若干具体方法（如 CC、MI、χ²、MB、CB、FCBF、Interact、mRMR）。
• 覆盖包括序贯和元启发式搜索（PSO、GA）在内的包装策略，用于探索特征子集。
• 对于特征提取，调研 PCA（包括对偶PCA）、核PCA、MDS、Isomap 与 LLE，将其与线性/非线性以及有监督/无监督设置联系起来。
• 讨论将提取方法与流形假设联系起来，并澄清样本外投影/重建的考虑，特别是对 PCA 变体和核方法。
• 本文还提供对比视角，指出在模式分析任务中的实际细微差别与应用领域。
• 旨在引导从业者了解理论基础、方法选择与样例实现。