[论文解读] General Upper Bounds on the Running Time of Parallel Evolutionary Algorithms

Jörg Lässig, Dirk Sudholt|arXiv (Cornell University)|Jun 15, 2012

Metaheuristic Optimization Algorithms Research参考文献 29被引用 4

一句话总结

本文提出了一种通用方法，用于通过适应度层级法推导具有空间结构种群的并行进化算法的期望运行时间上界。结果表明，更密集的迁移拓扑（如完全图）可实现显著的加速效果——在跳跃函数上最高可达 $ n^{k/2} $ 阶的加速比，同时保持函数评估次数的渐近最优性，并给出了实现最优性能的显式种群大小建议。

ABSTRACT

We present a new method for analyzing the running time of parallel evolutionary algorithms with spatially structured populations. Based on the fitness-level method, it yields upper bounds on the expected parallel running time. This allows to rigorously estimate the speedup gained by parallelization. Tailored results are given for common migration topologies: ring graphs, torus graphs, hypercubes, and the complete graph. Example applications for pseudo-Boolean optimization show that our method is easy to apply and that it gives powerful results. In our examples the possible speedup increases with the density of the topology. Surprisingly, even sparse topologies like ring graphs lead to a significant speedup for many functions while not increasing the total number of function evaluations by more than a constant factor. We also identify which number of processors yield asymptotically optimal speedups, thus giving hints on how to parametrize parallel evolutionary algorithms.

研究动机与目标

• 为具有空间结构种群的并行进化算法的运行时间分析提供严谨的理论框架。
• 估算并行化带来的加速比以及以迁移个体数量表示的总通信开销。
• 识别出能实现渐近最优加速比且最小化函数评估次数的最优种群大小。
• 比较不同迁移拓扑（环形、环面、超立方体、完全图）在标准伪布尔函数上的性能表现。
• 基于理论边界，为并行进化算法的参数配置提供实用指导。

提出的方法

• 通过将搜索空间按适应度值排序划分为适应度层级集合，将适应度层级法适配于并行进化算法。
• 基于来自最优适应度层级到相邻岛屿的个体最小传输概率 $ p $，推导出期望并行运行时间的一般上界。
• 根据具体拓扑的连通性特性，将一般上界特化于环形、环面、超立方体和完全图等结构。
• 引入“有效等待时间减少”概念——期望改进时间因拓扑密度而减少，减少因子取决于拓扑类型（例如，环形为平方根，环面为立方根，超立方体为对数，完全图为常数）。
• 将该方法应用于标准函数（OneMax、LO、Jump_k），推导出并行运行时间和通信成本的显式上界。
• 证明最优种群大小 $ \mu $ 可被选择为：即使获得显著加速，总函数评估次数仍保持渐近不变。

实验结果

研究问题

• RQ1 迁移拓扑的选择如何影响并行进化算法的期望运行时间？
• RQ2 通过并行化可实现的最大加速比是多少？其与拓扑密度的关系如何？
• RQ3 在哪些种群大小 $ \mu $ 下，加速比可实现渐近最优？这如何依赖于函数类别？
• RQ4 是否可在实现显著加速的同时，使总函数评估次数保持渐近不变？
• RQ5 通信成本如何随拓扑结构和种群大小变化？时间与通信之间的权衡关系如何？

主要发现

• 对于 OneMax 函数，环形拓扑可将每适应度层级的期望等待时间减少至其平方根，当 $ p = \Omega(1) $ 时，可实现 $ \log n $ 的加速比。
• 对于单峰函数 LO，环形拓扑可实现 $ \sqrt{n} $ 的加速比，而环面拓扑可将等待时间减少至其立方根，从而实现 $ O(n^{4/3}) $ 的并行运行时间。
• 在 $ \textup{Jump}_k $ 函数上，当 $ 3 \leq k = O(n/\log n) $ 时，加速比可达 $ n^{k/2} $ 阶，完全图可实现 $ O(n) $ 的并行运行时间。
• 完全图实现了最小的并行运行时间上界 $ O(n) $，但通信开销高达 $ O(n^3) $；而超立方体在 $ O(n \log n) $ 通信开销和 $ O(n) $ 时间之间提供了良好平衡。
• 对于 LO 函数，环面图将通信开销最小化至 $ O(n^2) $，但时间上界较高，为 $ O(n^{4/3}) $；而超立方体在两项指标上均提供了更优的权衡。
• 对于 OneMax，种群大小 $ \mu = O(\log n) $ 已足够实现线性加速比（当 $ p = \Omega(1) $ 时）；对于环形拓扑上的 LO，$ \mu = O(\sqrt{n}) $ 为最优；而对于完全图上的 LO，实现线性加速比需 $ \mu = \Theta(n) $。