[논문 리뷰] Model Exploration Using OpenMOLE - a workflow engine for large scale distributed design of experiments and parameter tuning

Romain Reuillon, Mathieu Leclaire외 1명|arXiv (Cornell University)|2015. 06. 12.

Scientific Computing and Data Management참고 문헌 11인용 수 3

한 줄 요약

이 논문은 고품질의 스크립트 기반 도메인 전용 언어(DSL)를 기반으로 한 과학적 워크플로우 엔진인 OpenMOLE를 제시한다. 이는 대규모 분산 환경에서 실험 설계 및 파라미터 튜닝을 가능하게 하며, NSGA-II 및 아일랜드 모델 기반 유전 알고리즘을 활용해 에이전트 기반 개미 시뮬레이션 모델의 다목적 최적화를 효율적으로 수행한다. 유럽 격자 인프라(EGI)에서 한 시간 만에 200,000명의 개체 평가를 달성하였다.

ABSTRACT

OpenMOLE is a scientific workflow engine with a strong emphasis on workload distribution. Workflows are designed using a high level Domain Specific Language (DSL) built on top of Scala. It exposes natural parallelism constructs to easily delegate the workload resulting from a workflow to a wide range of distributed computing environments. In this work, we briefly expose the strong assets of OpenMOLE and demonstrate its efficiency at exploring the parameter set of an agent simulation model. We perform a multi-objective optimisation on this model using computationally expensive Genetic Algorithms (GA). OpenMOLE hides the complexity of designing such an experiment thanks to its DSL, and transparently distributes the optimisation process. The example shows how an initialisation of the GA with a population of 200,000 individuals can be evaluated in one hour on the European Grid Infrastructure.

연구 동기 및 목표

• 복잡한 시뮬레이션 모델에서 고차원 파라미터 공간을 탐색하는 데 도전하는 것.
• 계산 비용이 큰 실험에 대해 단일 머신 환경의 한계를 극복하는 것.
• 이질적인 고성능 컴퓨팅 환경 간에 파라미터 튜닝 워크로드를 투명하게 분산하는 것.
• 시뮬레이션 연구 분야에서 과학적 워크플로우를 위한 확장성 있고 재현 가능하며 사용자 友好的한 프레임워크를 제공하는 것.
• 생산용 그리드 인fra에서 대규모 유전적 계산을 수행하는 것의 가능성과 효율성을 입증하는 것.

제안 방법

• 과학적 워크플로우와 실험 설계를 표현하기 위해 Scala 기반의 도메인 전용 언어(DSL)를 활용한다.
• 다양한 분산 환경, 즉 SSH, 클러스터 매니저 및 EGI 그리드와의 인터페이스를 위해 GridScale 라이브러리를 사용한다.
• 재평가 기능을 포함한 구성 가능한 입력, 목표, 재평가를 통해 강건한 결과를 얻기 위해 NSGA-II 알고리즘을 다목적 최적화에 적용한다.
• 이소 모델 기반의 유전적 계산을 통해 병렬로 분산된 개체 집단을 원격 노드에 분산 배치하여 확장성을 향상시킨다.
• 실행 중에 파레토 경계를 저장하고 진행 상황을 모니터링하기 위한 훅을 통합한다.
• 메모리 및 월 타임 제약 조건이 명시된 EGI 환경을 활용해 동시에 2,000개의 이소를 병렬로 실행한다.

실험 결과

연구 질문

• RQ1 OpenMOLE는 대규모 실험을 분산 컴퓨팅 인프라에 배포하는 복잡성을 효과적으로 추상화할 수 있는가?
• RQ2 이소 모델을 활용해 그리드 환경에서 파라미터 튜닝 워크로드를 얼마나 효율적으로 확장할 수 있는가?
• RQ3 OpenMOLE는 분산 실행 환경에서 과학적 워크플로우의 배포 및 관리 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 OpenMOLE는 재현 가능하고 확장 가능한 실행을 통해 복잡한 다목적 최적화를 위한 에이전트 기반 모델을 지원할 수 있는가?
• RQ5 생산용 그리드에 20만 개의 개체를 가진 유전 알고리즘을 분산하면 어떤 성능 향상이 달성될 수 있는가?

주요 결과

• OpenMOLE는 유럽 격자 인프라(EGI)에서 한 시간에 20만 개의 개체를 평가하는 에이전트 기반 개미 모델의 다목적 최적화를 성공적으로 수행하였다.
• 이소 모델을 통해 2,000개의 동시 실행 유전적 과정을 구현하였으며, 각각 50명의 개체를 가졌고, 전체 워크플로우에서 20만 건의 평가를 달성하였다.
• 재평가 기능(1%)을 포함한 NSGA-II 알고리즘은 과도하게 평가된 개체를 제거함으로써 강건하고 통계적으로 타당한 결과를 도출하였다.
• DSL과 워크플로우 조합 모델은 다양한 플랫폼 간에 복잡한 실험 설계를 간결하고 이식 가능하게 표현할 수 있도록 하였다.
• 단일 머신 성능 대비 실행 시간에서 거의 선형적인 속도 향상을 달성하여 분산 실행의 이상적인 성능에 가까워졌다.
• OpenMOLE의 0-배포 방식과 실시간 소프트웨어 프로비저닝은 로컬 설치 없이도 이질적인 환경 간에 신뢰성 있는 실행을 가능케 하였다.