[논문 리뷰] An Approach for Parallel Genetic Algorithms in the Cloud using Software Containers

Pasquale Salza, Filomena Ferrucci|arXiv (Cornell University)|2016. 06. 22.

Evolutionary Algorithms and Applications인용 수 8

한 줄 요약

이 논문은 Docker, CoreOS, RabbitMQ를 사용하여 통신 오버헤드를 최소화하고 확장성 있고 장애에 강한 실행을 가능하게 하는 클라우드 네이티브, 컨테이너 기반의 병렬 유전 알고리즘(GA) 배포 방법을 제안한다. AMQP 기반 메시지 전달을 통한 글로벌 병렬화 모델을 활용함으로써, 시스템은 동적 확장성과 DevOps 스타일의 CI/CD 워크플로우를 지원하며, 개발자가 언어나 인프라 제약 없이 격리되고 이식 가능한 컨테이너에서 GA 애플리케이션을 배포할 수 있도록 한다.

ABSTRACT

Genetic Algorithms (GAs) are a powerful technique to address hard optimisation problems. However, scalability issues might prevent them from being applied to real-world problems. Exploiting parallel GAs in the cloud might be an affordable approach to get time efficient solutions that benefit of the appealing features of the cloud, such as scalability, reliability, fault-tolerance and cost-effectiveness. Nevertheless, distributed computation is very prone to cause considerable overhead for communication and making GAs distributed in an on-demand fashion is not trivial. Aiming to keep under control the communication overhead and support GAs developers in the construction and deployment of parallel GAs in the cloud, in this paper we propose an approach to distribute GAs using the global parallelisation model, exploiting software containers and their cloud orchestration. We also devised a conceptual workflow covering each cloud GAs distribution phase, from resources allocation to actual deployment and execution, in a DevOps fashion.

연구 동기 및 목표

• 클라우드 환경에서 효율적인 병렬 실행을 가능하게 하여 기존 유전 알고리즘의 확장성 한계를 해결한다.
• 분산 파일 시스템 대신 메시지 큐를 사용하여 Hadoop 기반 접근 방식에서 유발되는 통신 오버헤드를 감소시킨다.
• 소프트웨어 컨테이너(Docker)를 사용하여 이식 가능하고 언어에 구애받지 않는 실행 환경을 제공한다.
• DevOps 관행을 GA 개발 라이프사이클에 통합하여 클라우드에서의 배포 및 오케스트레이션을 간소화한다.
• 메시지 기반 작업 배포를 통해 GA 실행 중에 슬레이브 노드를 동적으로, 즉시 확장할 수 있도록 한다.

제안 방법

• 마스터-슬레이브 모델을 사용하여 마스터가 GA 진화를 관리하고 슬레이브 노드에 적합도 평가를 위탁한다.
• RabbitMQ를 AMQP 호환 메시지 브로커로 사용하여 마스터 및 슬레이브 노드를 분리하고 비동기적이고 확장 가능한 작업 배포를 가능하게 한다.
• Docker를 사용하여 GA 애플리케이션 및 지원 서비스(예: RabbitMQ)를 컨테이너화하여 이식성과 격리를 확보한다.
• CoreOS를 사용하여 컨테이너 배포 및 클러스터 관리를 오케스트레이션하며, 플릿(fleet)을 사용해 스케줄링하고 etcd를 사용해 서비스 발견을 수행한다.
• 경량이고 효율적인 컨테이너 내 실행을 보장하고 클라우드 네이티브 도구와의 원활한 통합을 위해 Go로 시스템을 구현한다.
• Git 훅, CI 서비스 및 Docker 레지스트리 통합을 사용하여 자동 테스트, 이미지 빌드 및 배포를 자동화하는 DevOps 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 클라우드 환경에서 분산 GAs의 통신 오버헤드는 어떻게 최소화할 수 있는가?
• RQ2 컨테이너화와 메시지 큐는 병렬 GAs의 확장성과 장애 내성에 얼마나 기여하는가?
• RQ3 DevOps 기반 워크플로우는 클라우드에서 병렬 GAs의 개발, 배포 및 실행을 얼마나 효과적으로 단순화할 수 있는가?
• RQ4 Docker와 RabbitMQ와 같은 클라우드 네이티브 기술을 사용하여 글로벌 병렬화 모델을 얼마나 효과적으로 구현할 수 있는가?
• RQ5 메시지 기반 작업 배포를 통해 GA 실행 중에 슬레이브 노드를 동적으로 확장하는 것은 얼마나 가능한가?

주요 결과

• 제안된 시스템은 Hadoop의 분산 파일 시스템을 메시지 큐로 대체함으로써 통신 오버헤드를 낮추고, 적합도 평가에서 I/O 병목 현상을 감소시켰다.
• Docker 컨테이너의 사용은 언어에 구애받지 않는 실행을 가능하게 하여, 개발자가 기존 GA 구현체나 외부 도구를 이식 제약 없이 사용할 수 있도록 했다.
• RabbitMQ의 메시지 라우팅을 통해 런타임 중 슬레이브 노드의 동적 확장이 가능하여 탄력적인 자원 할당이 가능하다.
• DevOps 파이프라인은 자동 테스트, 이미지 빌드 및 배포를 가능하게 하여 수동 설정을 줄이고 배포 신뢰도를 향상시켰다.
• 컨테이너 격리와 메시지 브로커의 내성으로 인해 시스템은 장애 내성과 고가용성을 지원한다.
• 현대적인 클라우드 네이티브 기술을 사용하여 상업적 클라우드 환경에서 병렬 GAs를 배포하는 데 실현 가능하고 확장 가능하며 유지보수 용이한 접근 방식을 입증했다.