[论文解读] FSinR: an exhaustive package for feature selection

Francisco Aragón-Royón, Alfonso Jiménez-Vílchez+2 more|arXiv (Cornell University)|Feb 24, 2020

Machine Learning and Data Classification参考文献 30被引用 10

一句话总结

FSinR 是一个 R 包，提供了一个全面、统一的特征选择框架，整合了 16 种广泛使用的过滤方法和来自 caret 包的 238 种包装器方法，并结合了 13 种搜索算法。它能够在多种数据类型和机器学习任务中实现全面、灵活且用户友好的特征选择，相较于现有的 CRAN 包，具有更优的鲁棒性、可扩展性和集成能力。

ABSTRACT

Feature Selection (FS) is a key task in Machine Learning. It consists in selecting a number of relevant variables for the model construction or data analysis. We present the R package, FSinR, which implements a variety of widely known filter and wrapper methods, as well as search algorithms. Thus, the package provides the possibility to perform the feature selection process, which consists in the combination of a guided search on the subsets of features with the filter or wrapper methods that return an evaluation measure of those subsets. In this article, we also present some examples on the usage of the package and a comparison with other packages available in R that contain methods for feature selection.

研究动机与目标

• 解决缺乏一个全面、可扩展且用户友好的 R 包来统一整合各种特征选择方法的问题。
• 提供一种强大且可扩展的特征选择解决方案，支持过滤法和包装器法，并结合多种搜索策略。
• 将 caret 包中所有模型作为包装器评估指标进行整合，以增强方法的多样性与可靠性。
• 通过一致且统一的接口以及内部类型检查，提升易用性，实现稳健的参数处理。
• 提供一个支持多种数据类型（数值型、分类变量）和问题类型（分类、回归）的工具，提升通用性。

提出的方法

• 该包实现了 16 种标准的过滤方法（例如，基于相关性的方法、方差阈值、信息增益），用于独立的特征评估。
• 利用 caret 包中的全部 238 种分类和回归模型作为包装器评估指标，实现基于模型的特征评估。
• 将这些方法与 13 种搜索算法（例如，最佳优先搜索、遗传算法、递归特征消除）结合，以高效探索特征子集空间。
• 该包在所有方法中使用统一的函数接口，确保用户使用的一致性和直观性。
• 通过内部验证检查输入参数的类型和兼容性，提高可靠性并减少用户错误。
• 该框架支持分类和回归任务，并能无缝处理混合数据类型（数值型、分类变量）。

实验结果

研究问题

• RQ1 如何设计一个统一的 R 包，以整合广泛的过滤法和包装器法特征选择方法，并结合多样的搜索策略？
• RQ2 将所有 caret 模型作为包装器度量方法整合，能在方法覆盖范围和性能鲁棒性方面带来哪些优势？
• RQ3 FSinR 在功能、可用性和可扩展性方面与现有专注于特征选择的 CRAN 包相比如何？
• RQ4 该包一致的接口和内部验证在多大程度上提升了用户体验并减少了实现错误？
• RQ5 一个结合了全面搜索与多样化评估方法的特征选择工具，是否能优于专门化或功能有限的替代方案？

主要发现

• FSinR 支持 16 种过滤方法和 238 种来自 caret 包的包装器方法，相较于大多数现有 R 包，显著扩展了方法论的覆盖范围。
• 该包允许将任意过滤法或包装器法与任意 13 种搜索算法结合，提供高度灵活且全面的特征选择流程。
• 与 FSelector 不同，后者缺乏搜索集成且仅返回选定特征，FSinR 提供详细的评估指标和过程透明度。
• 该包的统一接口和内部类型检查提升了易用性并减少了错误，使其比 Boruta 或 spSFR 等仅提供单一方法解决方案的替代品更具鲁棒性。
• FSinR 在可扩展性和通用性方面优于其他包，支持所有数据类型和问题类型（分类、回归），并提供一致且有文档记录的功能。
• 将 caret 的模型作为包装器整合，确保了高可靠性，并可访问最先进的评估技术，使 FSinR 成为机器学习中特征选择的全面解决方案。