[논문 리뷰] BOSS: a tool for batch job monitoring and book-keeping

C. Grandi|ArXiv.org|2003. 05. 28.

Distributed and Parallel Computing Systems참고 문헌 4인용 수 6

한 줄 요약

BOSS (Batch Object Submission System)는 고에너지물리학에서 배치 작업 관리를 위한 실시간 모니터링 및 장부 기록 도구로, 사용자가 정의한 필터를 사용하여 MySQL 데이터베이스에 구조화된 작업 데이터를 저장한다. CMS에서 몬테카를로 생산 및 그리드 기반 워크로드를 효율적으로 관리하는 데 기여하였으며, 유럽 데이터그리드와 같은 대규모 컴퓨팅 환경에서의 확장성과 신뢰성을 입증하였다.

ABSTRACT

BOSS (Batch Object Submission System) has been developed to provide real-time monitoring and bookkeeping of jobs submitted to a compute farm system. The information is persistently stored in a relational database (MySQL in the current version) for further processing. By means of user-supplied filters, BOSS extracts the specific job information to be monitored from the standard input, output and error of the job itself and stores it in the database in a structured form that allows easy and efficient access. BOSS has been successfully used by all CMS Regional Centers for managing Monte Carlo data productions in 2002. Furthermore in fall 2002 it has been used in a prototype of the CMS production system deployed on the European DataGrid test bed demonstrating its ability to be used also in a grid environment.

연구 동기 및 목표

• 고에너지물리학 컴퓨팅 팜에서 대량의 배치 작업을 추적하고 관리하는 데 도전하는 문제를 해결하기 위해.
• 작업 실행 데이터의 실시간 모니터링과 지속적인 장부 기록을 통해 워크플로우 투명도를 향상시키기 위해.
• 사용자가 정의한 필터를 사용하여 작업 표준 입력, 출력 및 오류 스트림에서 구조화된 데이터베이스에 저장된 작업 메타데이터를 추출하기 위해.
• 유럽 데이터그리드와 같은 그리드 컴퓨팅 인fra구조와의 통합을 지원하여 분산형 생산 워크플로우를 가능하게 하기 위해.
• CMS 지역 센터에서의 사례를 통해 입증된 대규모 몬테카를로 데이터 생산 환경에서의 신뢰성과 효율성을 향상시키기 위해.

제안 방법

• BOSS는 사용자가 제공한 필터링 규칙를 사용하여 배치 작업의 표준 입력, 출력 및 오류 스트림을 분석함으로써 작업 메타데이터를 캡처한다.
• 필터링된 작업 정보는 관계형 데이터베이스(현재 구현에서는 MySQL)에 구조화되고 질의 가능한 형식으로 저장된다.
• 시스템은 실시간으로 작업 데이터를 처리하여 작업 상태와 성능 메트릭에 즉각적인 액세스를 가능하게 한다.
• 사용자가 정의한 필터는 비구조화된 작업 로그에서 특정 데이터 포인트(예: 작업 ID, 실행 시간, 자원 사용량)를 추출한다.
• 아키텍처는 스탠드alone 및 그리드 기반 배포 모두를 지원하며, 실제로는 유럽 데이터그리드 테스트베드에서 검증된 통합이 이루어졌다.
• BOSS는 모니터링 로직을 작업 실행과 분리하기 위해 클라이언트-서버 모델을 사용하여 확장성과 장애 내성 보장을 한다.

실험 결과

연구 질문

• RQ1 대규모 HEP 컴퓨팅 환경에서 실시간으로 배치 작업을 모니터링하는 방법은 무엇인가?
• RQ2 비구조화된 로그 출력에서 신뢰성 있고 구조화된 방식으로 작업 메타데이터를 장부 기록하는 데 어떤 메커니즘이 필요한가?
• RQ3 중앙 집중식 모니터링 시스템은 유럽 데이터그리드와 같은 분산형 그리드 인fra구조에서 효과적으로 확장될 수 있는가?
• RQ4 BOSS는 몬테카를로 데이터 생산 워크플로우에서 재현 가능성과 추적 가능성을 어떻게 지원하는가?
• RQ5 BOSS는 대규모 HEP 워크로드 환경에서의 성능와 신뢰성은 어떠한가?

주요 결과

• 2002년 BOSS는 CMS 지역 센터 전역에서 몬테카를로 데이터 생산을 성공적으로 관리하여 고처리량 환경에서의 견고함을 입증하였다.
• 시스템은 구조화된 데이터베이스 저장 방식을 통해 실시간으로 작업 메타데이터에 액세스할 수 있게 하여 디버깅과 워크플로우 추적을 향상시켰다.
• BOSS는 유럽 데이터그리드 테스트베드에서 CMS 생산 시스템의 프로토타입에 배포되어 그리드 컴퓨팅 아키텍처와의 호환성을 입증하였다.
• 사용자가 정의한 필터는 원시 로그에서 관련된 작업 정보를 정확하게 추출하여 잡음 감소와 데이터 무결성 향상을 가능하게 하였다.
• BOSS는 MySQL에 지속적이고 신뢰성 있는 작업 데이터 저장을 달성하여 효율적인 질의와 장기적 분석을 지원하였다.
• BOSS는 운영 오버헤드를 최소화하면서도 복잡하고 분산된 HEP 워크로드를 지원하는 생산 환경에서 확장성과 유지보수성의 우수함을 입증하였다.