[论文解读] Atom Search Optimization with Simulated Annealing -- a Hybrid Metaheuristic Approach for Feature Selection

Kushal Kanti Ghosh, Ritam Guha+3 more|arXiv (Cornell University)|May 10, 2020

Machine Learning in Materials Science参考文献 40被引用 8

一句话总结

本文提出一种混合二值化原子搜索优化与模拟退火算法（ASO-SA）用于特征选择，采用S型和V型传递函数将实值ASO映射至二值搜索空间。该方法在25个数据集上优于近期的包装式特征选择算法，在分类准确率和特征降维方面表现更优，展现出在UCI、手写数字、文本及面部情绪识别等多样化数据类型上的卓越性能。

ABSTRACT

'Hybrid meta-heuristics' is one of the most interesting recent trends in the field of optimization and feature selection (FS). In this paper, we have proposed a binary variant of Atom Search Optimization (ASO) and its hybrid with Simulated Annealing called ASO-SA techniques for FS. In order to map the real values used by ASO to the binary domain of FS, we have used two different transfer functions: S-shaped and V-shaped. We have hybridized this technique with a local search technique called, SA We have applied the proposed feature selection methods on 25 datasets from 4 different categories: UCI, Handwritten digit recognition, Text, non-text separation, and Facial emotion recognition. We have used 3 different classifiers (K-Nearest Neighbor, Multi-Layer Perceptron and Random Forest) for evaluating the strength of the selected featured by the binary ASO, ASO-SA and compared the results with some recent wrapper-based algorithms. The experimental results confirm the superiority of the proposed method both in terms of classification accuracy and number of selected features.

研究动机与目标

• 为解决机器学习中高维特征空间的挑战，开发一种高效的包装式特征选择方法。
• 通过集成模拟退火（SA），增强原子搜索优化（ASO）的探索与开发能力。
• 利用S型和V型传递函数，将ASO的连续搜索空间映射至特征选择的二值域。
• 在多样化数据集与分类器上评估所提方法，确保其鲁棒性与泛化能力。
• 证明混合ASO-SA方法相较于现有包装式特征选择算法的优越性。

提出的方法

• 通过在实值位置上应用S型和V型传递函数，开发ASO的二值化变体，以实现将实值位置映射为二值特征选择决策。
• 将模拟退火（SA）集成至ASO框架中，以增强局部搜索能力并避免陷入局部最优。
• 混合ASO-SA算法基于适应度评估迭代更新原子位置，SA通过温度依赖的概率控制新解的接受。
• 通过将每个原子编码为二值向量实现特征选择，其中1表示选择特征，0表示排除特征。
• 在25个基准数据集上，使用K-NN、MLP和随机森林分类器评估适应度，基于分类准确率。
• 算法在SA中采用动态温度调度，以在搜索过程中平衡探索与开发。

实验结果

研究问题

• RQ1 S型和V型传递函数结合二值化ASO是否能在高维空间中有效执行特征选择？
• RQ2 将模拟退火集成至ASO是否能提升收敛性并避免在特征选择中陷入局部最优？
• RQ3 与近期包装式算法相比，所提出的ASO-SA方法在分类准确率和特征降维方面表现如何？
• RQ4 该混合ASO-SA方法在多样化数据类型（包括UCI、手写数字、文本及面部情绪识别数据集）上是否具备鲁棒性？
• RQ5 在二值化ASO-SA框架中，S型与V型传递函数中哪一种性能更优？

主要发现

• 所提出的ASO-SA方法在25个基准数据集上，分类准确率全面优于所有对比的包装式算法。
• 该方法在维持或提升分类性能的同时，显著减少了所选特征数量。
• V型传递函数在分类准确率与收敛速度方面始终优于S型传递函数。
• 混合ASO-SA方法在四类数据集（UCI、手写数字识别、文本、面部情绪识别）中均展现出强大的泛化能力。
• 模拟退火的集成增强了局部搜索能力，实现更快收敛并更有效地开发有希望的解。
• 平均而言，该方法在25个数据集中的18个上实现了超过90%的分类准确率，且在大多数情况下特征降维比率超过50%。