[论文解读] A Survey on Distributed Evolutionary Computation

Wei–Neng Chen, Feng-Feng Wei+3 more|arXiv (Cornell University)|Apr 12, 2023

Metaheuristic Optimization Algorithms Research被引用 4

一句话总结

本文对分布式进化计算（DEC）进行了全面综述，提出了一种从算法设计到实现的新型分类体系。系统性地回顾了通过并行处理实现的集中式优化与具有部分信息的分布式优化，将后者分类为维度分布、数据分布和目标分布问题，并识别了该领域中的关键挑战与未来研究方向。

ABSTRACT

The rapid development of parallel and distributed computing paradigms has brought about great revolution in computing. Thanks to the intrinsic parallelism of evolutionary computation (EC), it is natural to implement EC on parallel and distributed computing systems. On the one hand, the computing power provided by parallel computing systems can significantly improve the efficiency and scalability of EC. On the other hand, data are collected and processed in a distributed manner, which brings a novel development direction and new challenges to EC. In this paper, we intend to give a systematic review on distributed EC (DEC). First, a new taxonomy for DEC is proposed from top design mechanism to bottom implementation mechanism. Based on this taxonomy, existing studies on DEC are reviewed in terms of purpose, parallel structure of the algorithm, parallel model for implementation, and the implementation environment. Second, we clarify two major purposes of DEC, i.e., improving efficiency through parallel processing for centralized optimization and cooperating distributed individuals/sub-populations with partial information to perform distributed optimization. Third, noting that the latter purpose of DEC is an emerging and attractive trend for EC with the booming of spatially distributed paradigms, this paper gives a systematic definition of the distributed optimization and classifies it into dimension distributed-, data distributed-, and objective distributed-optimization problems. Formal formulations for these problems are provided and various DEC studies on these problems are reviewed. We also discuss challenges and potential research directions, aiming to enlighten the design of DEC and pave the way for future developments.

研究动机与目标

• 针对并行与分布式计算技术的发展，提供对分布式进化计算（DEC）的系统性综述。
• 阐明DEC的两个主要目的：通过并行处理提升效率，以及实现具有部分信息的分布式个体之间的协作。
• 对分布式优化问题进行形式化并分类，划分为维度分布、数据分布和目标分布三类，并给出数学公式。
• 识别开放挑战，并为DEC的未来发展提出有前景的研究方向。

提出的方法

• 提出一种分层分类体系，涵盖从顶层设计机制到底层实现技术的DEC分类。
• 基于目的、算法并行结构、实现模型和部署环境对DEC研究进行分类。
• 为三种分布式优化类型（维度分布、数据分布和目标分布问题）引入正式的数学公式。
• 回顾不同问题类型下的现有DEC方法，重点分析算法策略与通信模式。
• 分析分布式EC系统中收敛速度、解质量与通信开销之间的权衡。
• 强调空间分布式EC的新兴趋势，以及部分信息共享在去中心化优化中的作用。

实验结果

研究问题

• RQ1 如何利用分布式与并行计算基础设施有效扩展进化计算？
• RQ2 通过并行EC实现的集中式优化与具有部分信息的真实分布式优化之间有何关键区别？
• RQ3 在进化计算背景下，如何对分布式优化问题进行形式化分类与数学建模？
• RQ4 设计高效且可扩展的分布式进化算法面临的主要挑战是什么？
• RQ5 哪些未来研究方向最有可能推动分布式进化计算的发展？

主要发现

• 本文建立了对分布式优化问题的正式分类，包括维度分布、数据分布和目标分布三类，每类均有明确的数学公式。
• 研究指出，由于空间分布数据与系统的兴起，分布式优化已成为新兴且日益重要的趋势。
• 综述揭示，通信开销与负载均衡是分布式进化计算中的关键挑战，尤其在大规模部署中更为显著。
• 现有DEC方法在集中式环境中表现出更好的可扩展性与效率，但分布式协调仍是主要开放问题。
• 部分信息共享与去中心化决策的结合被证明对解决现实世界中的分布式优化问题至关重要。
• 作者结论认为，未来研究应聚焦于自适应通信策略、容错能力，以及结合集中式与分布式范式的混合模型。