[论文解读] Low-Complexity Particle Swarm Optimization for Time-Critical Applications

Muhammad Saqib Sohail, Muhammad Omer Bin Saeed+3 more|arXiv (Cornell University)|Jan 2, 2014

Metaheuristic Optimization Algorithms Research被引用 14

一句话总结

本文提出两种低复杂度的粒子群优化（PSO）技术：一种事件触发机制，通过在位置变化较小时跳过速度更新来减少计算量；一种按维度的成本评估方法，通过独立优化每个维度来加速收敛。结合使用时，这些技术显著降低了计算负载并提升了收敛速度，同时保持了可接受的误差性能，使PSO适用于时间敏感和功耗受限的应用场景。

ABSTRACT

Particle swam optimization (PSO) is a popular stochastic optimization method that has found wide applications in diverse fields. However, PSO suffers from high computational complexity and slow convergence speed. High computational complexity hinders its use in applications that have limited power resources while slow convergence speed makes it unsuitable for time critical applications. In this paper, we propose two techniques to overcome these limitations. The first technique reduces the computational complexity of PSO while the second technique speeds up its convergence. These techniques can be applied, either separately or in conjunction, to any existing PSO variant. The proposed techniques are robust to the number of dimensions of the optimization problem. Simulation results are presented for the proposed techniques applied to the standard PSO as well as to several PSO variants. The results show that the use of both these techniques in conjunction results in a reduction in the number of computations required as well as faster convergence speed while maintaining an acceptable error performance for time-critical applications.

研究动机与目标

• 为解决标准PSO存在的高计算复杂度和收敛缓慢问题，这些问题限制了其在时间敏感和功耗受限系统中的应用。
• 开发可降低计算负载而不牺牲解质量的技术，使PSO能够部署于实时和嵌入式环境。
• 通过按维度优化提升收敛速度，实现对最优解的更快适应。
• 确保所提方法可兼容任意PSO变体，可单独或组合使用。
• 验证技术在不同问题维度和基准函数下的鲁棒性。

提出的方法

• 引入一种事件触发机制，仅当粒子当前位置与其局部或全局最优位置之间的距离超过预设阈值时，才计算PSO速度更新方程中的认知项和社交项。
• 采用按维度的成本评估技术，独立优化粒子位置的每个维度，分别最小化代价函数的每一项，以加速收敛。
• 事件触发方法通过跳过不必要的更新减少了函数评估次数，尤其在后期迭代中粒子接近最优解时效果显著。
• 按维度方法不增加额外计算开销，因其复用标准PSO中已有的函数评估结构。
• 两种技术均具备模块化特性，可应用于任意PSO变体（如标准PSO、CLPSO、HPSO、DMS），可单独或组合使用。
• 所提方法使用标准基准函数（如Sphere、Rosenbrock、Michalewicz）在30维和60维问题上进行评估，迭代次数分别为500次和5000次。

实验结果

研究问题

• RQ1 事件触发机制是否能在不显著降低解质量的前提下减少PSO的计算复杂度？
• RQ2 按维度优化是否能加速PSO的收敛，特别是在高维问题中？
• RQ3 在迭代次数有限的时间敏感场景中，所提技术表现如何？
• RQ4 这些技术在不同PSO变体和问题维度下具有多大程度的鲁棒性？
• RQ5 两种技术组合是否能在收敛速度、计算成本和误差性能方面实现更优表现？

主要发现

• 在30维情况下，事件触发技术将计算量减少了高达60%；在60维情况下，减少幅度达80%，且性能退化可忽略。
• 在60维情况下，HP-DE2变体仅用53次迭代即达到1.65e-16的平均误差，而原始HP-DE2需228次迭代，迭代次数减少77%。
• 在60维情况下，CL-DE变体在300次迭代内达到1.68e-20的平均误差，优于原始CLPSO，在收敛速度和误差性能上均表现更优。
• PSO的D和DE变体、HPSO和CLPSO在60维问题中所有测试案例均成功收敛，而原始算法在多个函数上未能收敛。
• 按维度方法对问题维度增加表现出强鲁棒性，避免了大多数PSO变体常见的“维数灾难”问题。
• 两种技术组合使用时整体性能最佳，显著降低计算成本，提升收敛速度，同时在所有基准函数上保持可接受的误差水平。