[论文解读] An Approach for Parallel Genetic Algorithms in the Cloud using Software Containers

Pasquale Salza, Filomena Ferrucci|arXiv (Cornell University)|Jun 22, 2016

Evolutionary Algorithms and Applications被引用 8

一句话总结

本文提出一种基于云原生、容器化的并行遗传算法（GAs）部署方法，采用Docker、CoreOS和RabbitMQ，以最小化通信开销并实现可扩展、容错的执行。通过基于AMQP的消息传递实现全局并行化模型，系统支持动态扩展和DevOps风格的CI/CD工作流，使开发人员能够在隔离、可移植的容器中部署GA应用，不受语言或基础设施限制。

ABSTRACT

Genetic Algorithms (GAs) are a powerful technique to address hard optimisation problems. However, scalability issues might prevent them from being applied to real-world problems. Exploiting parallel GAs in the cloud might be an affordable approach to get time efficient solutions that benefit of the appealing features of the cloud, such as scalability, reliability, fault-tolerance and cost-effectiveness. Nevertheless, distributed computation is very prone to cause considerable overhead for communication and making GAs distributed in an on-demand fashion is not trivial. Aiming to keep under control the communication overhead and support GAs developers in the construction and deployment of parallel GAs in the cloud, in this paper we propose an approach to distribute GAs using the global parallelisation model, exploiting software containers and their cloud orchestration. We also devised a conceptual workflow covering each cloud GAs distribution phase, from resources allocation to actual deployment and execution, in a DevOps fashion.

研究动机与目标

• 通过在云环境中实现高效的并行执行，解决传统遗传算法的可扩展性限制。
• 通过用消息队列替代分布式文件系统，减少基于Hadoop方法固有的通信开销。
• 通过软件容器（Docker）提供可移植、与语言无关的执行环境，用于GA。
• 将DevOps实践集成到GA开发生命周期中，以简化云环境中的部署和编排。
• 通过基于消息的任务分发，实现在GA执行过程中动态、按需扩展从节点。

提出的方法

• 采用全局并行化（主从）模型，主节点负责GA演化，并将适应度评估任务委派给从节点。
• 使用RabbitMQ作为符合AMQP的中间件，解耦主节点与从节点，实现异步、可扩展的任务分发。
• 使用Docker对GA应用及支持服务（如RabbitMQ）进行容器化，以实现可移植性和隔离性。
• 通过CoreOS编排容器部署和集群管理，使用fleet进行任务调度，etcd进行服务发现。
• 使用Go语言实现系统，以确保在容器内轻量化、高效执行，并与云原生工具无缝集成。
• 设计基于Git钩子、CI服务和Docker镜像仓库集成的DevOps流水线，实现测试、镜像构建和部署的自动化。

实验结果

研究问题

• RQ1 在云环境中，如何最小化分布式GA中的通信开销？
• RQ2 容器化和消息队列在多大程度上能提升并行GA的可扩展性和容错能力？
• RQ3 基于DevOps的工作流能否简化云环境中并行GA的开发、部署和执行？
• RQ4 使用Docker和RabbitMQ等云原生技术，全局并行化模型的实现效率如何？
• RQ5 通过基于消息的任务分发，动态扩展GA执行过程中的从节点是否可行？

主要发现

• 通过用消息队列替代Hadoop的分布式文件系统，所提系统显著降低了通信开销，减少了适应度评估中的I/O瓶颈。
• 使用Docker容器实现了与语言无关的执行，使开发人员可直接使用现有GA实现或外部工具，无需进行移植。
• 通过RabbitMQ的消息路由机制，支持运行时从节点的动态扩展，实现弹性资源分配。
• DevOps流水线实现了自动化测试、镜像构建和部署，减少了手动配置，提升了部署可靠性。
• 通过容器隔离和消息中间件的容错能力，该架构支持故障恢复和高可用性。
• 该系统展示了使用现代云原生技术在商业云环境中可扩展、可维护地部署并行GA的可行性。