[论文解读] LOFS: Library of Online Streaming Feature Selection

Kui Yu, Wei Ding+1 more|arXiv (Cornell University)|Mar 2, 2016

Data Stream Mining Techniques参考文献 11被引用 3

一句话总结

LOFS 是首个针对在线流式特征选择的全面开源 MATLAB 库，实现了最先进的算法，用于在特征依次到达时选择单个特征和分组特征。它支持在高维大数据场景中高效、增量式的特征选择，具有模块化设计，支持可扩展性，并可通过统计检验进行性能评估。

ABSTRACT

As an emerging research direction, online streaming feature selection deals with sequentially added dimensions in a feature space while the number of data instances is fixed. Online streaming feature selection provides a new, complementary algorithmic methodology to enrich online feature selection, especially targets to high dimensionality in big data analytics. This paper introduces the first comprehensive open-source library for use in MATLAB that implements the state-of-the-art algorithms of online streaming feature selection. The library is designed to facilitate the development of new algorithms in this exciting research direction and make comparisons between the new methods and existing ones available.

研究动机与目标

• 通过在特征依次到达时支持在线特征选择，解决大数据分析中高维数据的挑战。
• 提供一个统一的开源平台，用于实现和比较最先进的在线流式特征选择算法。
• 支持个体特征选择与基于组的特征选择，其中特征以前后关联的动态组形式到达。
• 通过模块化、可扩展的库架构，促进新型在线特征选择算法的研究与开发。
• 通过标准指标和非参数检验（如 Friedman 检验与 Nemenyi 检验）实现算法的统计比较。

提出的方法

• LOFS 采用三模块架构：相关性度量（CM）、学习（Learning）和统计比较（SC）模块。
• CM 模块使用卡方检验、G² 检验、Fisher Z 变换和互信息检验，分别针对离散和连续数据计算特征相关性。
• 学习模块通过 Alpha-investing、OSFS、Fast-OSFS 和 SAOLA 实现个体特征选择；通过 group-SAOLA 实现分组特征选择。
• SC 模块使用准确率、AUC、kappa 系数和紧凑性等指标评估性能，并应用非参数检验进行算法比较。
• 该库使用 MATLAB 实现，遵循标准化编码规范，支持新算法的轻松扩展与集成。
• LOFS 支持未来集成 ARFF 和 LIBSVM 文件格式，以提升数据兼容性。

实验结果

研究问题

• RQ1 如何有效扩展在线特征选择，以处理高维数据流中依次到达的特征？
• RQ2 在动态数据环境中，在线流式特征选择方法相较于传统批处理特征选择方法的性能提升如何？
• RQ3 如何在在线设置中高效建模并选择分组特征依赖关系？
• RQ4 一个模块化、开源的库能否加速新型在线特征选择算法的开发与基准测试？
• RQ5 在多样化的数据集上，比较多个在线特征选择算法时，哪种统计方法最为有效？

主要发现

• LOFS 是首个专为在线流式特征选择设计的全面开源库，支持个体与分组特征选择。
• 该库集成了最先进的算法，包括 Alpha-investing、OSFS、Fast-OSFS、SAOLA 和 group-SAOLA，所有算法均以 MATLAB 实现。
• LOFS 支持使用 Friedman 检验与 Nemenyi 检验等非参数检验对算法进行统计比较，提升了性能评估的可靠性。
• 原始研究中的实证比较表明，在动态高维环境中，在线流式特征选择方法优于传统批处理方法（如 FCBF、SPSF-LAR 和 GDM）。
• 模块化架构使研究人员能够轻松扩展 LOFS 以集成新算法，推动社区驱动的开发与可复现性。
• 未来版本将支持 ARFF 和 LIBSVM 文件格式，提升数据互操作性与在各类机器学习平台中的可用性。