[논문 리뷰] A batch scheduler with high level components

Nicolas Capit, Georges Da Costa외 6명|arXiv (Cornell University)|2005. 06. 02.

Distributed and Parallel Computing Systems참고 문헌 5인용 수 99

한 줄 요약

이 논문은 대규모 클러스터를 위한 고수준 배치 스케줄러인 OAR을 제시한다. OAR은 효율적인 자원 관리를 위해 Perl과 MySQL을 활용하며, 소프트웨어 복잡도를 낮춘다. 고수준 도구를 사용하고도 생산용 스케줄러와 유사한 성능을 보이며, 강력한 확장성과 내구성을 갖춘 700노드 메트로폴리탄 그리드 환경을 성공적으로 관리한다.

ABSTRACT

In this article we present the design choices and the evaluation of a batch scheduler for large clusters, named OAR. This batch scheduler is based upon an original design that emphasizes on low software complexity by using high level tools. The global architecture is built upon the scripting language Perl and the relational database engine Mysql. The goal of the project OAR is to prove that it is possible today to build a complex system for ressource management using such tools without sacrificing efficiency and scalability. Currently, our system offers most of the important features implemented by other batch schedulers such as priority scheduling (by queues), reservations, backfilling and some global computing support. Despite the use of high level tools, our experiments show that our system has performances close to other systems. Furthermore, OAR is currently exploited for the management of 700 nodes (a metropolitan GRID) and has shown good efficiency and robustness.

연구 동기 및 목표

• 고수준 소프트웨어 컴포넌트를 사용해 복잡도를 줄이고 확장성과 내구성을 갖춘 대규모 클러스터용 배치 스케줄러를 설계하기.
• Perl과 MySQL과 같은 고수준 도구가 저수준의 맞춤형 스케줄러와 유사한 성능과 확장성을 제공할 수 있는지 평가하기.
• 우선순위 스케줄링, 예약, 백필링, 글로벌 컴퓨팅 지원과 같은 핵심 기능을 유지보수 용이한 아키텍처에 구현하기.
• 실제 700노드 메트로폴리탄 그리드 인fra에서의 실전 배포를 통해 시스템을 검증하기.
• 복잡한 자원 관리 시스템을 고수준 도구를 사용해 효율적으로 구축할 수 있으며, 성능이나 확장성에 손해를 보이지 않음을 입증하기.

제안 방법

• 시스템은 작업 오케스트레이션과 워크플로우 제어를 위한 주요 로직 계층으로 스크립팅 언어 Perl을 사용해 아키텍처를 설계한다.
• MySQL 관계형 데이터베이스는 작업 상태, 자원 할당, 스케줄링 메타데이터를 지속적으로 저장하는 데 사용되어, 구조화되고 확장 가능한 데이터 처리를 가능하게 한다.
• 우선순위 큐, 예약 메커니즘, 백필링 알고리즘과 같은 스케줄링 정책을 캡슐화하기 위해 Perl의 고수준 추상화를 사용한다.
• 경량 에이전트와 표준 작업 제출 인터페이스를 통해 클러스터 인프라와 통합되어 호환성을 확보한다.
• 표준 인터페이스를 통해 여러 관리 도메인에 걸쳐 작업을 분산할 수 있도록 글로벌 컴퓨팅을 지원한다.
• 실제 700노드 그리드에서의 배포를 통해 성능과 신뢰성을 평가하며, 처리량, 지연 시간, 장애 내성 등을 측정한다.

실험 결과

연구 질문

• RQ1 Perl과 MySQL과 같은 고수준 도구로 구축한 배치 스케줄러가 저수준의 맞춤형 스케줄러와 유사한 성능과 확장성을 달성할 수 있는가?
• RQ2 고수준 추상화는 대규모 클러스터 환경에서 시스템 효율성에 손상을 주지 않으면서 소프트웨어 복잡도를 얼마나 줄일 수 있는가?
• RQ3 수백 개 노드와 복잡한 스케줄링 정책을 수반하는 실전 환경에서 시스템의 확장성은 얼마나 잘 작동하는가?
• RQ4 백필링, 예약, 우선순위 큐와 같은 기능들이 고수준 스크립팅과 관계형 데이터베이스를 통해 효과적으로 구현될 수 있는가?
• RQ5 실제 그리드 환경에서의 이 시스템의 실용적 내구성과 유지보수 용이성은 어떠한가?

주요 결과

• OAR은 700노드 메트로폴리탄 그리드 인프라를 성공적으로 관리하여 강력한 실전 확장성과 운영 내구성을 입증했다.
• Perl과 MySQL과 같은 고수준 도구에 의존하고도 다른 생산용 배치 스케줄러와 유사한 성능을 달성했다.
• 고수준 컴포넌트의 사용으로 소프트웨어 복잡도가 크게 감소했으며, 우선순위 스케줄링, 예약, 백필링과 같은 핵심 기능을 모두 유지보장했다.
• 관계형 데이터베이스 백엔드는 신뢰할 수 있는 상태 지속성과 효율적인 쿼리 기반 스케줄링 결정을 가능하게 했다.
• 장기간 운영되는 생산 환경에서 양호한 장애 내성과 안정성을 보였으며, 배포 기간 동안 주요 장애가 보고되지 않았다.
• 결과적으로 복잡한 자원 관리 시스템이 고수준 도구를 사용해 효율적으로 구축될 수 있으며, 성능나 확장성에 손해를 보이지 않음을 확인했다.