[논문 리뷰] HEP Applications Evaluation of the EDG Testbed and Middleware

Ingo Augustin, Federico Carminati외 25명|arXiv (Cornell University)|2003. 06. 05.

Distributed and Parallel Computing Systems참고 문헌 7인용 수 5

한 줄 요약

이 논문은 유럽의 E-과학을 위한 그리드를 구현하는 데 기여하는 EDG(Enabling Grids for E-Science in Europe) 테스트베드 및 미들웨어를 고에너지물리학(HEP) 응용 프로그램에 대해 평가하며, 작업 제출, 데이터 관리, 스토리지 처리, 모니터링 및 원격 디버깅에 중점을 둔다. 대형 강입자 충돌기(LHC) 실험의 소프트웨어가 그리드 환경에 성공적으로 통합되었으며, 확장성 및 이식 가능성 문제를 밝혀내고, 2003년 중반까지 LCG 프로토타입 배포를 위해 필요한 핵심 소프트웨어 개발 사항을 제시한다.

ABSTRACT

Workpackage 8 of the European Datagrid project was formed in January 2001 with representatives from the four LHC experiments, and with experiment independent people from five of the six main EDG partners. In September 2002 WP8 was strengthened by the addition of effort from BaBar and D0. The original mandate of WP8 was, following the definition of short- and long-term requirements, to port experiment software to the EDG middleware and testbed environment. A major additional activity has been testing the basic functionality and performance of this environment. This paper reviews experiences and evaluations in the areas of job submission, data management, mass storage handling, information systems and monitoring. It also comments on the problems of remote debugging, the portability of code, and scaling problems with increasing numbers of jobs, sites and nodes. Reference is made to the pioneeering work of Atlas and CMS in integrating the use of the EDG Testbed into their data challenges. A forward look is made to essential software developments within EDG and to the necessary cooperation between EDG and LCG for the LCG prototype due in mid 2003.

연구 동기 및 목표

• LHC 실험 전반에 걸쳐 HEP 응용 프로그램 배포를 위한 EDG 테스트베드 및 미들웨어 평가.
• 작업 제출, 데이터 관리 및 대량 스토리지 처리를 포함한 그리드 구성 요소의 功能 및 성능 평가.
• 증가하는 작업 및 사이트 부하에 따른 원격 디버깅, 코드 이식성 및 확장성 문제 규명.
• 2003년 중순 배포를 앞두고 LHC 컴퓨팅 그리드(LCG) 프로토타입 개발에 EDG 통합 지원.

제안 방법

• HEP 소프트웨어의 EDG 미들웨어 및 테스트베드 환경에서의 이식 및 테스트 수행.
• 여러 그리드 사이트 및 노드 간 작업 제출 워크플로우 평가.
• 실제 실험 워크로드 하에서 데이터 관리 및 대량 스토리지 처리 성능 측정.
• 정보 시스템 및 모니터링 도구를 활용한 시스템 동작 및 진단 모니터링.
• LHC 실험(ATLAS, CMS, BaBar, D0)으로부터 사용성 및 통합 과제에 대한 피드백 수집.
• 테스트베드 내 작업 수, 사이트 수 및 노드 수 증가에 따른 확장성 행동 분석.

실험 결과

연구 질문

• RQ1 HEP 응용 프로그램은 EDG 미들웨어 및 테스트베드에서 얼마나 효과적으로 배포 및 실행될 수 있는가?
• RQ2 다양한 사이트 간 작업 제출, 데이터 관리 및 스토리지 처리에서 성능 저하 요인은 무엇인가?
• RQ3 HEP 워크로드를 그리드에서 실행할 경우 원격 디버깅 및 코드 이식성에서 발생하는 과제는 무엇인가?
• RQ4 작업 수, 사이트 수 및 노드 수 증가에 따라 시스템은 어떻게 확장되는가?
• RQ5 LCG 프로토타입 및 향후 LHC 데이터 과제를 지원하기 위해 필요한 소프트웨어 개선 사항은 무엇인가?

주요 결과

• EDG 미들웨어는 HEP 응용 프로그램의 실행을 성공적으로 지원하였으며, ATLAS 및 CMS는 데이터 과제에 조기에 통합된 바 있다.
• 작업 제출 및 데이터 관리 워크플로우는 기능적 안정성을 보였지만, 이질적인 사이트 간 성능은 다양했다.
• 원격 디버깅은 그리드 노드 간 시각화 부족 및 일관되지 않은 로깅으로 어려움을 겪었다.
• 특히 레거시 소프트웨어 스택이 있는 환경에서 HEP 코드의 이식성은 여전히 과제였다.
• 작업 및 사이트 수 증가에 따라 모니터링 및 자원 할당 조율 문제로 확장성 문제가 발생하였다.
• 이 논문은 향후 LCG 프로토타입을 위한 상호운용성 및 성능 확보를 위해 EDG 내 핵심 소프트웨어 개발 필요성을 규명하였다.