[논문 리뷰] Running CMS software on GRID Testbeds

D. Bonacorsi, P. Capiluppi외 28명|arXiv (Cornell University)|2003. 06. 04.

Distributed and Parallel Computing Systems참고 문헌 6인용 수 6

한 줄 요약

이 논문은 유럽 데이터그리드(EDG) 미들웨어를 사용하여 9개의 분산된 사이트를 통해 대규모 스트레스 테스트를 실시하여 CMS 이벤트 시뮬레이션 소프트웨어의 실행을 평가한다. 고에너지 물리학 워크로드를 그리드 테스트베드에서 실행하는 것이 가능하다는 것을 입증하며, 500개 이상의 CPU와 5TB의 디스크 스토리지에서 안정적인 작업 실행을 달성하였다. 주요 과제로는 미들웨어 통합 및 데이터 관리였으며, 협업을 통한 튜닝과 최적화로 해결되었다.

ABSTRACT

Starting in the middle of November 2002, the CMS experiment undertook an evaluation of the European DataGrid Project (EDG) middleware using its event simulation programs. A joint CMS-EDG task force performed a "stress test" by submitting a large number of jobs to many distributed sites. The EDG testbed was complemented with additional CMS-dedicated resources. A total of ~ 10000 jobs consisting of two different computational types were submitted from four different locations in Europe over a period of about one month. Nine sites were active, providing integrated resources of more than 500 CPUs and about 5 TB of disk space (with the additional use of two Mass Storage Systems). Descriptions of the adopted procedures, the problems encountered and the corresponding solutions are reported. Results and evaluations of the test, both from the CMS and the EDG perspectives, are described.

연구 동기 및 목표

• 분산된 그리드 환경에서 EDG 미들웨어를 사용하여 CMS 이벤트 시뮬레이션 소프트웨어를 구현할 수 있는지 평가하는 것.
• 이질적인 컴퓨팅 및 스토리지 자원을 사용하여 유럽 여러 지역의 사이트 간에 분산된 작업 실행의 성능과 안정성을 평가하는 것.
• 생산 유사 그리드 테스트베드 환경에서 작업 제출, 데이터 전송, 자원 관리의 기술적 과제를 식별하고 해결하는 것.
• 고에너지 물리학 워크로드에 대해 EDG 미들웨어 스택의 상호운용성과 확장성을 검증하는 것.
• 향후 CMS 소프트웨어를 생산 그리드 인fra구조에 배포하기 위한 벤치마크를 제공하는 것.

제안 방법

• 네 개의 유럽 지역에서 약 10,000개의 작업을 9개의 분산된 사이트에 제출하여 대규모 스트레스 테스트를 실시하였다.
• EDG 테스트베드 자원과 추가적인 CMS 전용 컴퓨팅 및 스토리지 용량을 조합한 하이브리드 인프라를 활용하였다.
• 데이터 집약적인 시뮬레이션에 필요한 5TB의 디스크 스토리지 공간을 관리하기 위해 두 대의 마스터 스토리지 시스템을 사용하였다.
• 다양한 미들웨어 구성 환경에서 CMS 전용 이벤트 시뮬레이션 프로그램을 사용하여 표준화된 작업 제출 워크플로우를 구현하였다.
• 병목 현상 식별 및 성능 최적화를 위해 작업 실행, 데이터 전송 및 자원 활용도를 모니터링하였다.
• 실시간으로 미들웨어 및 설정 문제를 진단하고 해결하기 위해 CMS-EDG 공동 작업팀과 협력하였다.

실험 결과

연구 질문

• RQ1 EDG 미들웨어를 사용하여 분산된 그리드 인프라에서 CMS 이벤트 시뮬레이션 소프트웨어를 신뢰성 있게 실행할 수 있는가?
• RQ2 생산 유사 그리드 테스트베드에서 복잡한 허브 물리학 워크로드를 구현할 때 주요 기술적 과제는 무엇인가?
• RQ3 여러 사이트에 걸쳐 다양한 종류의 작업을 다수 처리할 때 EDG 미들웨어 스택의 확장성은 어떠한가?
• RQ4 다중 사이트 그리드 환경에서 데이터 전송 및 스토리지 관리 과정에서 발생하는 성능 병목 현상은 무엇인가?
• RQ5 EDG 미들웨어는 CMS 시뮬레이션 워크로드의 계산 및 스토리지 요구사항을 어느 정도 충족시킬 수 있는가?

주요 결과

• 스트레스 테스트는 9개의 사이트에서 약 10,000개의 작업을 성공적으로 실행하여 EDG 미들웨어가 CMS 워크로드에 대해 확장 가능함을 입증하였다.
• 인프라는 500개 이상의 CPU와 5TB의 디스크 스토리지 공간을 제공하였으며, 데이터 지속성을 위해 두 대의 마스터 스토리지 시스템을 효과적으로 활용하였다.
• CMS-EDG 작업팀의 협업적 튜닝을 통해 작업 스케줄링, 데이터 전송, 미들웨어 설정의 주요 문제점이 식별되고 해결되었다.
• 테스트는 분산된 그리드 환경에서 CMS 이벤트 시뮬레이션 소프트웨어를 신뢰성 있고 성능이 양호한 수준에서 실행할 수 있음을 확인하였다.
• 결과는 향후 CMS 소프트웨어를 생산 그리드 인프라에 배포하기 위한 중요한 통찰을 제공하였으며, EDG 미들웨어 스택이 허브 물리학 워크로드에 적합함을 검증하였다.
• CMS와 EDG 간의 공동 평가 과정을 통해 미들웨어 안정성과 상호운용성 향상에 실질적인 개선 조치가 이뤄졌다.