[论文解读] Global optimization using Lévy flights

Truyen Tran, Trung Thành Nguyễn+1 more|arXiv (Cornell University)|Jul 22, 2014

Diffusion and Search Dynamics参考文献 17被引用 4

一句话总结

本文提出Lévy飞行优化（LFO），一种新颖的元启发式框架，利用Lévy飞行在连续全局优化中实现全局探索与局部开发的平衡。所提出的算法——LFO-B、LFO-LS、LFO-MLS和LFO-SA——由于具有重尾步长分布，能有效减少对低质量区域的重复访问，因此在困难测试函数上优于模拟退火算法，尤其在早期收敛阶段表现更优。

ABSTRACT

This paper studies a class of enhanced diffusion processes in which random walkers perform Lévy flights and apply it for global optimization. Lévy flights offer controlled balance between exploitation and exploration. We develop four optimization algorithms based on such properties. We compare new algorithms with the well-known Simulated Annealing on hard test functions and the results are very promising.

研究动机与目标

• 开发一类受Lévy飞行启发的新元启发式优化算法，以自然地平衡探索与开发。
• 解决现有元启发式算法（如模拟退火和遗传算法）的局限性，这些算法可能重复访问低质量解或陷入局部最优。
• 在全局最优解难以定位的基准连续测试函数上，验证基于Lévy飞行的搜索机制的有效性。
• 探索将Lévy飞行与局部搜索及其他元启发式算法结合的混合策略，以提升收敛速度与解的质量。

提出的方法

• Lévy飞行通过幂律分布建模步长：$ P(l) = \frac{\beta}{l_0(1 + \frac{l}{l_0})^{1+\beta}} $，其中 $ \beta \in (0,2] $ 控制尾部的厚重程度。
• 通过反变换采样生成步长：$ l = l_0(\frac{1}{U^{1/\beta}} - 1) $，其中 $ U \sim \text{Uniform}(0,1) $，实现高效的随机采样。
• 提出四种算法：LFO-B（基于种群的基本算法）、LFO-LS（每粒子附加局部搜索）、LFO-MLS（多局部搜索）和LFO-SA（与模拟退火的混合算法）。
• 算法通过Lévy分布跳跃实现动态粒子移动，参数设置为 $ \beta = 1.5 $，$ l_0 $ 设为搜索空间维度的一半，停止准则基于时间、解质量或非改进步数。
• 与模拟退火的混合（LFO-SA）将Lévy飞行的探索能力与SA的接受概率机制结合，提升算法鲁棒性。
• 在五个困难的连续测试函数上测试该框架：$ f_0 $、$ f_2 $、$ f_5 $、$ f_6 $ 和Bump函数，每函数独立运行10至100次。

实验结果

研究问题

• RQ1 与传统元启发式算法（如模拟退火）相比，Lévy飞行能否提供更优的探索与开发平衡？
• RQ2 基于Lévy飞行的算法在具有复杂景观的基准连续全局优化问题上表现如何？
• RQ3 引入局部搜索或与SA的混合是否能提升基于Lévy飞行算法的收敛速度与解的质量？
• RQ4 LFO算法为何在Bump函数上失效？这种失效是否与景观中缺乏“大山谷”结构有关？
• RQ5 动态调整 $ \beta $ 和 $ l_0 $ 是否能提升性能？这对未来算法设计有何启示？

主要发现

• LFO算法在执行首秒内即可稳定找到高质量解，表明其收敛速度显著优于模拟退火。
• 在 $ f_0 $、$ f_2 $、$ f_5 $ 和 $ f_6 $ 函数上，LFO变体在早期性能优于模拟退火，且LFO-MLS与LFO-SA在最终解质量上达到或超越SA。
• 在Bump函数上，模拟退火在长时运行中表现优于LFO算法，表明当全局最小值位于边界且景观中无“大山谷”结构时，LFO表现受限。
• 重尾Lévy飞行分布降低了重复访问先前探索过的低质量区域的可能性，这对无记忆算法具有优势。
• 混合算法LFO-SA在早期表现类似LFO-MLS，在长时运行中则类似模拟退火，表明其融合了两种方法的优势。
• LFO在Bump函数上的失败支持了如下假设：基于Lévy飞行的方法在好解聚集于局部最优附近的“大山谷”景观中最为有效。