[论文解读] A Fuzzy-Rough based Binary Shuffled Frog Leaping Algorithm for Feature Selection

Javad Rahimipour Anaraki, Saeed Samet+2 more|arXiv (Cornell University)|Jul 31, 2018

Rough Sets and Fuzzy Logic参考文献 46被引用 3

一句话总结

该论文提出了一种新颖的二值化 shuffled frog leaping 算法（B-SFLA），与模糊-粗糙依赖度（FRDD）相结合，用于特征选择，利用 L-FRFS 框架识别最小约简。该方法在分类准确率和特征子集质量方面显著优于 GA、PSO 和 GBFS，同时由于其基于子群的多样性保持机制，能够在单次运行中高效发现多个最小约简。

ABSTRACT

Feature selection and attribute reduction are crucial problems, and widely used techniques in the field of machine learning, data mining and pattern recognition to overcome the well-known phenomenon of the Curse of Dimensionality, by either selecting a subset of features or removing unrelated ones. This paper presents a new feature selection method that efficiently carries out attribute reduction, thereby selecting the most informative features of a dataset. It consists of two components: 1) a measure for feature subset evaluation, and 2) a search strategy. For the evaluation measure, we have employed the fuzzy-rough dependency degree (FRFDD) in the lower approximation-based fuzzy-rough feature selection (L-FRFS) due to its effectiveness in feature selection. As for the search strategy, a new version of a binary shuffled frog leaping algorithm is proposed (B-SFLA). The new feature selection method is obtained by hybridizing the B-SFLA with the FRDD. Non-parametric statistical tests are conducted to compare the proposed approach with several existing methods over twenty two datasets, including nine high dimensional and large ones, from the UCI repository. The experimental results demonstrate that the B-SFLA approach significantly outperforms other metaheuristic methods in terms of the number of selected features and the classification accuracy.

研究动机与目标

• 通过提升特征选择的效率和准确率，解决机器学习与数据挖掘中的维度灾难问题。
• 克服贪婪方法和元启发式方法在特征子集搜索过程中常陷入局部最优的局限性。
• 开发一种保持种群多样性的搜索策略，以同时探索多个最优解（最小约简）。
• 将模糊-粗糙集理论与一种新型二值化元启发式算法相结合，实现稳健且高性能的特征选择。
• 在来自 UCI 数据库的多样化高维数据集上，将所提方法与现有成熟算法进行对比评估。

提出的方法

• 该方法采用基于下近似值的模糊-粗糙特征选择（L-FRFS）框架，计算模糊-粗糙依赖度（FRDD）作为特征子集的评估指标。
• 提出了一种新的 shuffled frog leaping 算法的二值化版本（B-SFLA），其中青蛙以二进制字符串表示，指示特征的包含或排除。
• B-SFLA 将种群划分为多个子群（memeplexes），实现并行局部搜索，增强多样性，避免过早收敛。
• 每个青蛙的位置根据其个体最优解和子群内的全局最优解进行更新，结合随机局部搜索机制以探索解空间。
• 通过迭代优化特征子集，最大化 FRDD 同时最小化所选特征数量。
• 最终解集包含多个最小约简——即大小最小且 FRDD 最高的特征子集——均在单次运行中被识别。

实验结果

研究问题

• RQ1 B-SFLA 与基于 FRDD 的评估相结合，是否能在特征选择的准确率和效率方面显著优于传统元启发式算法（如 GA 和 PSO）？
• RQ2 B-SFLA 的子群结构是否使其能够在单次运行中发现多个最小约简，而 GA 和 PSO 通常仅返回一个？
• RQ3 在多样化的数据集上，该方法与 L-FRFS 和 GBFS 相比，在分类准确率和特征子集大小方面表现如何？
• RQ4 B-SFLA 在高维和大规模数据集上，能在多大程度上减少计算时间，同时保持或提升性能？
• RQ5 B-SFLA 是否特别适用于存在多个最优解的多峰特征选择问题？

主要发现

• 在分类准确率的弗里德曼检验中，B-SFLA 的平均排名最高（2.1364），显著优于 GA（3.1818）、PSO（3.4091）、GBFS（3.5000）和 L-FRFS（2.7727）。
• 事后分析证实，在 α=0.05 的显著性水平下，B-SFLA 的性能在统计上显著优于 PSO、GA 和 GBFS，对应的 p 值分别为 0.007592、0.02831 和 0.004231。
• 在大多数数据集中，B-SFLA 是运行速度最快的算法，其多线程 C++ 实现优于 Weka 中基于 Java 的 GA 和 PSO。
• 与 GA 和 PSO 不同，后者通常仅返回一个最小约简，B-SFLA 由于其子群结构，始终能在单次运行中返回多个最小约简。
• 该方法在高维和大规模数据集（如 COIL-2000、CNAE-9 和 Madelon）上表现出色，实现了高准确率且所选特征更少。
• B-SFLA 通过基于 memeplex 的搜索机制保持种群多样性，使其在存在多个最优解的多峰特征选择问题中具有高度适用性。