[论文解读] General Algorithmic Search

Sergio Hernández, Guillem Duran+1 more|arXiv (Cornell University)|May 24, 2017

Metaheuristic Optimization Algorithms Research参考文献 7被引用 4

一句话总结

本文提出通用算法搜索（GAS），一种随机的、单目标的元启发式算法，通过具有内部流动状态并采用克隆机制进行扩散的代理（行走者）群体来探索搜索空间。在31个复杂函数及Lennard-Jones势能函数的基准测试中，GAS在收敛速度和成功率方面优于盆地跳跃法（Basin Hopping）、布谷鸟搜索（Cuckoo Search）和差分进化（Differential Evolution），尤其在并行优化场景下，其性能随多次独立运行而显著提升。

ABSTRACT

In this paper we present a metaheuristic for global optimization called General Algorithmic Search (GAS). Specifically, GAS is a stochastic, single-objective method that evolves a swarm of agents in search of a global extremum. Numerical simulations with a sample of 31 test functions show that GAS outperforms Basin Hopping, Cuckoo Search, and Differential Evolution, especially in concurrent optimization, i.e., when several runs with different initial settings are executed and the first best wins. Python codes of all algorithms and complementary information are available online.

研究动机与目标

• 开发一种适用于无约束全局优化的通用元启发式算法，使其在多样且具有挑战性的测试函数上均表现高效。
• 解决现有元启发式算法在处理复杂、多峰搜索空间（尤其是高维和崎岖空间）时的局限性。
• 在单次运行和并行优化设置下，评估所提方法与最先进算法的性能表现。
• 在基准函数（包括已知对多数优化方法具有挑战性的Lennard-Jones势能函数）上，展示该算法的鲁棒性与可扩展性。

提出的方法

• GAS采用N个行走者的种群，每个行走者由其在搜索域中的位置及一个大于零的内部流动值F_i定义，该值影响其移动与选择动力学。
• 算法使用基于流动的缩放ϕ_i = (f(x_i) - f_min)/(f_max - f_min)来归一化各行走者的函数值，从而实现对适应度的相对比较。
• 行走者在伪时间中执行随机移动，克隆机制允许一个行走者的状态替代另一个，从而增强探索能力并帮助逃离局部极小值。
• 维护一个禁忌记忆列表，用于标记并避免重复访问局部极小值，灵感源自禁忌搜索（Tabu Search），防止过早收敛。
• 使用L-BFGS-B对迄今找到的最佳行走者执行局部优化，每轮迭代均对当前最优解进行精炼。
• 算法采用基于绝对误差≤10⁻⁶与已知全局最小值的停止准则，确保收敛精度。

实验结果

研究问题

• RQ1 在标准基准函数上，GAS与盆地跳跃法（Basin Hopping）、布谷鸟搜索（Cuckoo Search）和差分进化（Differential Evolution）相比，其收敛速度和成功率如何？
• RQ2 在并行优化场景下，即多个独立运行并行执行时，GAS的性能是否显著提升？
• RQ3 GAS在优化Lennard-Jones势能函数方面的有效性如何？这类函数对许多元启发式算法而言尤为具挑战性。
• RQ4 GAS是否能在不依赖问题特异性知识的前提下保持高性能，从而体现其在多样化优化问题中的通用性？

主要发现

• 在单次运行优化中，GAS明显优于盆地跳跃法，与差分进化相比略有优势，而布谷鸟搜索的性能介于两者之间。
• 在10、20或50次并行运行的并行优化设置下，GAS相对于所有基线方法均展现出显著且可扩展的性能优势，且随着运行次数增加而愈发明显。
• 对于含4至10个粒子的Lennard-Jones势能函数，GAS始终优于盆地跳跃法和布谷鸟搜索，且随着粒子数增加，性能差距进一步扩大。
• 差分进化在所有Lennard-Jones基准测试中表现极差，而尽管盆地跳跃法专为这类函数设计，其性能也未达到最优。
• GAS的成功并非源于对问题的特异性知识，因其为无偏算法，在未掌握函数结构信息的前提下，仍能在广泛测试函数上保持优异表现。
• 该算法性能稳健且具备可扩展性，成功优化比例随函数评估次数和并行运行次数的增加而持续提升。