[论文解读] Lévy flights as an underlying mechanism for global optimization algorithms

M. Gutowski|ArXiv.org|Jun 4, 2001

Advanced Differential Equations and Dynamical Systems被引用 61

一句话总结

本文提出将 Lévy 飞行——稳定且重尾的 Lévy 分布——用作全局优化算法的随机机制，通过短距离与长距离跳跃的组合，实现对搜索空间的高效探索。通过调节 Lévy 指数 β，该方法在局部搜索与全局探索之间实现平衡，在逃离局部极小值方面优于传统的高斯分布或均匀分布步长。

ABSTRACT

In this paper we propose and advocate the use of the so called Lévy flights as a driving mechanism for a class of stochastic optimization computations. This proposal, for some reasons overlooked until now, is - in author's opinion - very appropriate to satisfy the need for algorithm, which is capable of generating trial steps of very different length in the search space. The required balance between short and long steps can be easily and fully controlled. A simple example of approximated Lévy distribution, implemented in FORTRAN 77, is given. We also discuss the physical grounds of presented methods.

研究动机与目标

• 解决传统随机优化算法因步长受限而难以逃离局部极小值的局限性。
• 提出 Lévy 飞行作为优化中标准随机游走模型的物理基础坚实、数学严谨的替代方案。
• 证明 Lévy 飞行可通过 Lévy 指数 β 实现局部精细化与全局探索之间的可调平衡。
• 提供一个基于 FORTRAN 77 的实用随机数生成器，用于生成适用于优化算法的 Lévy 分布步长。
• 在单一随机框架下统一处理经典扩散（布朗运动）与量子隧穿效应的数学描述。

提出的方法

• 使用特征指数 β ∈ (0,2) 的 Lévy 稳定分布生成搜索空间中的步长，其中 β 控制尾部的厚重程度。
• 采用反函数法通过公式 x = ξ^(-1/β) - 1 生成 Lévy 分布的随机变量，其中 ξ ~ Uniform(0,1)。
• 在蒙特卡罗风格的优化过程中应用生成的随机步长，每一步根据目标函数值决定是否接受。
• 依赖 Lévy 飞行与超扩散过程之间的物理类比，β < 2 时可实现长程跳跃，从而增强全局搜索能力。
• 根据 β 的取值区分行为特征：β ≤ 1 对应类量子隧穿行为（矩不存在），1 < β < 2 对应超扩散，β = 2 对应标准布朗运动。
• 使用一个简单但未经优化的 FORTRAN 77 子程序（LEVY1），通过求逆累积分布函数生成 Lévy 分布的变体。

实验结果

研究问题

• RQ1 Lévy 飞行是否能作为比高斯分布或均匀分布步长更有效的机制，以在全局优化中逃离局部极小值？
• RQ2 Lévy 指数 β 如何在随机优化算法中控制局部搜索与全局探索之间的平衡？
• RQ3 使用 Lévy 飞行作为优化过程模型的物理与数学依据是什么？
• RQ4 在实践中，如何高效生成 Lévy 分布的随机数以用于优化算法？
• RQ5 Lévy 基算法在多大程度上统一了经典扩散与量子隧穿在优化中的行为？

主要发现

• β ∈ (0,2) 的 Lévy 飞行可在搜索空间中实现长距离跳跃，与高斯分布或有界均匀分布步长相比，显著提升了逃离局部极小值的能力。
• 该算法的行为完全由 Lévy 指数 β 控制：β ≤ 1 时实现类量子隧穿行为（方差无穷大），β ∈ (1,2) 时实现超扩散，β = 2 时退化为标准布朗运动。
• 所提出的 FORTRAN 77 实现（LEVY1）通过求逆累积分布函数，成功生成具有所需幂律尾部行为的变体。
• 即使使用质量较差的高斯随机数生成器，长步长也极为稀少，导致此类算法在未增强机制（如 Lévy 飞行）时对全局优化无效。
• 该方法提供了一个统一的数学框架，通过其共同的二阶偏微分结构，将经典扩散（Fick 定律）与量子隧穿（Schrödinger 方程）联系起来。
• 理论与物理依据均支持使用 Lévy 飞行作为比传统具有有限方差步长的随机游走模型更自然、更有效的优化模型。