[论文解读] Improving PSO Global Method for Feature Selection According to Iterations Global Search and Chaotic Theory

Shahin Pourbahrami|arXiv (Cornell University)|Nov 21, 2018

Metaheuristic Optimization Algorithms Research参考文献 56被引用 5

一句话总结

本文提出 ISPSO-GLOBAL，一种改进的粒子群优化（PSO）方法，用于特征选择，通过整合混沌初始化和基于迭代的全局搜索，以增强探索能力和收敛性。通过利用混沌理论进行种群初始化，并采用基于迭代频率的动态特征数量公式，该方法在多个真实世界数据集上相比最先进方法，实现了更高的分类准确率和更低的计算复杂度。

ABSTRACT

Making a simple model by choosing a limited number of features with the purpose of reducing the computational complexity of the algorithms involved in classification is one of the main issues in machine learning and data mining. The aim of Feature Selection (FS) is to reduce the number of redundant and irrelevant features and improve the accuracy of classification in a data set. We propose an efficient ISPSO-GLOBAL (Improved Seeding Particle Swarm Optimization GLOBAL) method which investigates the specified iterations to produce prominent features and store them in storage list. The goal is to find informative features based on its iteration frequency with favorable fitness for the next generation and high exploration. Our method exploits of a new initialization strategy in PSO which improves space search and utilizes chaos theory to enhance the population initialization, then we offer a new formula to determine the features size used in proposed method. Our experiments with real-world data sets show that the performance of the ISPSO-GLOBAL is superior comparing with state-of-the-art methods in most of the data sets.

研究动机与目标

• 通过选择最少数量的相关特征，降低机器学习中的计算复杂度。
• 通过改进的初始化策略，提升PSO在特征选择中的探索能力。
• 将混沌理论融入PSO，以增加初始种群的多样性，避免早熟收敛。
• 基于迭代频率和适应度，提出一种动态特征数量确定公式。
• 与现有方法相比，在使用更少特征的情况下实现更高的分类准确率。

提出的方法

• 提出一种新颖的混沌初始化策略，以提升PSO中种群的多样性与全局搜索能力。
• 采用基于迭代的全局搜索，识别并存储具有高适应度得分的频繁选择特征。
• 提出一种基于迭代频率和适应度的新公式，用于确定需选择的特征数量。
• 使用存储列表在各次迭代中保留表现最优的特征，以指导后续代际。
• 将混沌序列（如逻辑斯蒂映射）与PSO结合，生成多样化的初始粒子位置。
• 在每次迭代中应用适应度评估与自适应学习规则，以更新粒子的位置和速度。

实验结果

研究问题

• RQ1 混沌初始化能否提升PSO在特征选择中的全局搜索性能？
• RQ2 在迭代过程中追踪特征频率如何增强对信息性特征的选择？
• RQ3 基于迭代频率和适应度的动态特征数量公式能否提升分类准确率？
• RQ4 所提出的ISPSO-GLOBAL方法是否优于现有的基于PSO和非PSO的特征选择技术？
• RQ5 该方法在保持或提升分类准确率的同时，能在多大程度上降低计算复杂度？

主要发现

• ISPSO-GLOBAL方法在大多数测试的真实世界数据集上，分类准确率高于最先进方法。
• 混沌初始化的整合显著提升了种群多样性，并降低了早熟收敛的风险。
• 基于迭代频率的特征选择方法产生了更稳定且信息量更高的特征子集。
• 动态特征数量公式有效平衡了模型复杂度与性能。
• 该方法在多个基准数据集上表现出更优的收敛速度和鲁棒性。
• 所提出的方法通过聚焦于高频率、高适应度特征，显著降低了计算开销。