[논문 리뷰] The EU DataGrid Workload Management System: towards the second major release

Giuseppe Avellino, S. Barale외 27명|ArXiv.org|2003. 06. 13.

Distributed and Parallel Computing Systems참고 문헌 2인용 수 23

한 줄 요약

이 논문은 유럽 데이터그리드 워크로드 관리 시스템(WMS)의 첫 번째 주요 릴리스 이후 사용자 피드백과 새로운 功能 통합의 필요성에 따라 발생한 아키텍처적 진화를 제시한다. 개선된 시스템은 이질적인 그리드 자원을 통해 작업 제출, 자원 선택, 워크로드 분배를 향상시키며, 두 번째 주요 릴리스 단계에서 모듈러하고 구성요소 중심의 설계를 통해 확장성과 신뢰성을 향상시켰다.

ABSTRACT

In the first phase of the European DataGrid project, the 'workload management' package (WP1) implemented a working prototype, providing users with an environment allowing to define and submit jobs to the Grid, and able to find and use the ``best'' resources for these jobs. Application users have now been experiencing for about a year now with this first release of the workload management system. The experiences acquired, the feedback received by the user and the need to plug new components implementing new functionalities, triggered an update of the existing architecture. A description of this revised and complemented workload management system is given.

연구 동기 및 목표

• 유럽 데이터그리드 워크로드 관리 시스템의 첫 번째 릴리스에서 드러난 한계와 사용자 피드백을 해결하여 사용성과 성능을 향상시키기.
• 사용자 작업 요구사항과 시스템 상태를 바탕으로 동적이고 지능적인 자원 선택을 가능하게 하기.
• 고에너지 물리학 분야의 변화하는 워크로드와 이질적인 컴퓨팅 환경을 지원하기 위해 새로운 구성요소 통합하기.
• 대규모 그리드 배포 환경에서 생산 수준의 워크로드를 지원하기 위해 시스템의 확장성과 신뢰성을 강화하기.
• 아키텍처 및 구성요소 통합을 정교화하여 WMS의 두 번째 주요 릴리스를 준비하기.

제안 방법

• 핵심 기능을 분리하고 확장성을 향상시키기 위해 모듈러하고 구성요소 중심의 소프트웨어 아키텍처 채택하기.
• 사용자가 그리드에 계산 작업을 정의하고 제출할 수 있도록 작업 제출 인터페이스 구현하기.
• 성능, 가용성 및 사용자 지정 기준을 바탕으로 가용 자원을 평가하는 자원 선택 엔진 통합하기.
• 작업 디스패칭, 모니터링 및 장애 복구를 조율하기 위해 중앙집중식 워크로드 관리 서비스 사용하기.
• 실제 사용자 워크로드로부터의 피드백을 통합하여 스케줄링 정책을 개선하고 시스템 반응성을 향상시키기.
• 런타임 메트릭과 시스템 로드에 기반해 작업 배치 전략을 동적으로 적응시키기.

실험 결과

연구 질문

• RQ1 첫 번째 릴리스에서의 실제 사용자 워크로드와 피드백을 더 잘 처리하기 위해 워크로드 관리 시스템을 어떻게 향상시킬 수 있는가?
• RQ2 생산용 그리드 환경에서 새로운 기능과 향상된 확장성을 지원하기 위해 필요한 아키텍처적 변화는 무엇인가?
• RQ3 이질적인 컴퓨팅 자원을 통해 효율적인 작업 실행을 보장하기 위해 자원 선택을 어떻게 최적화할 수 있는가?
• RQ4 분산된 그리드 워크로드 관리 시스템에서 신뢰성과 장애 내성 보장을 위해 필요한 메커니즘은 무엇인가?
• RQ5 고에너지 물리학 컴퓨팅 분야에서의 향후 워크로드와 변화하는 요구사항을 지원하기 위해 시스템을 어떻게 확장할 수 있는가?

주요 결과

• 개선된 WMS 아키텍처는 향상된 모듈러리티와 구성요소 통합을 통해 두 번째 주요 릴리스를 성공적으로 지원했다.
• 첫 번째 릴리스에서의 사용자 피드백은 작업 제출, 모니터링, 자원 선택 기능에 있어 중요한 향상을 이끌어냈다.
• 분산 자원을 통해 복잡하고 대규모 워크로드를 처리하는 데서 시스템의 확장성과 신뢰성이 향상됨을 입증했다.
• 새로운 구성요소 통합을 통해 시스템 조건과 사용자 요구사항의 변화에 동적으로 적응할 수 있게 되었다.
• 지능적인 스케줄링 알고리즘을 통해 더 나은 로드 밸런싱과 자원 활용도를 달성했다.
• 모듈러한 설계 덕분에 향후 확장이 용이하며, 고에너지 물리학 및 분산 컴퓨팅 분야의 변화하는 용례를 지원할 수 있다.