[논문 리뷰] Report of the Snowmass 2013 Computing Frontier Working Group on Distributed Computing and Facility Infrastructures

K. Bloom, R. Gerber|arXiv (Cornell University)|2013. 11. 09.

Distributed and Parallel Computing Systems참고 문헌 1인용 수 3

한 줄 요약

이 보고서는 고에너지물리학(HEP)을 위한 분산 컴퓨팅 및 시설 인프라의 현황과 미래를 평가하며, 에너지, 강도, 천체물리학 분야의 증가하는 데이터 및 시뮬레이션 수요를 충족시키기 위해 월드와이드 LHC 컴퓨팅 그룹(WLCG)이 계층적이고 글로벌하게 분산된 HTC(고성능 컴퓨팅) 모델을 통해 LHC 실험을 뒷받침하는 데 핵심적인 역할을 한다고 강조한다. 보고서는 WLCG에 대한 지속적 투자, HPC와 HTC 자원의 통합, 멀티코어 및 GPU 아키텍처에 적합한 소프트웨어의 개선을 당부하며, 향후 데이터 및 시뮬레이션 요구량 증가에 대비한 전략을 제시한다.

ABSTRACT

This is the report of the Snowmass 2013 Computing Frontier Working Group on Distributed Computing and Facility Infrastructures.

연구 동기 및 목표

• 2017년까지 미국 고에너지물리학(HEP) 공동체의 현재 및 향후 컴퓨팅 인프라 수요를 평가하기 위해.
• WLCG가 LHC 실험을 위한 주요 분산 컴퓨팅 인프라로서 수행하는 역할을 평가하기 위해.
• 국립 컴퓨팅 센터에서 HPC와 HTC 패러다임의 통합이 향후 HEP 연구에 어떻게 관련되는지 검토하기 위해.
• LHC 루미니스티의 증가, 이벤트의 복잡성 증가, 데이터 속도 증가에 따른 컴퓨팅 자원 확장의 과제를 규명하기 위해.
• 소프트웨어 진화, 자원 다양화, 지속적 재정 지원 전략을 수립하여 HEP의 계산 준비성을 유지하기 위해.

제안 방법

• HTC(매우 병렬화 가능한)와 HPC(엄밀히 연결된 고성능) 컴퓨팅 모델을 구분하여 기존 HEP 컴퓨팅 워크로드를 분석한다.
• WLCG의 계층적 아키텍처—CERN의 Tier-0, 데이터 재처리 및 아카이빙을 위한 Tier-1 사이트, 물리 분석 및 시뮬레이션을 위한 Tier-2 사이트—를 평가한다.
• 국립 컴퓨팅 센터(예: NERSC)가 HTC 및 HPC 워크로드를 지원하는 데서의 역할을 검토하며, 소프트웨어 및 미들웨어 개발을 포함한다.
• LHC의 데이터 속도 증가(300 Hz에서 1 kHz로)와 피로율 증가(이벤트당 20에서 25개의 상호작용으로)가 인프라 확장성에 미치는 영향을 평가한다.
• WLCG의 진화적 업그레이드와 기회적 자원(예: 상용 클라우드, 국립 HPC 센터)의 통합을 제안한다.
• 멀티코어 및 GPU 기반 병렬 처리를 최대한 활용하기 위해 소프트웨어 현대화를 권고한다.

실험 결과

연구 질문

• RQ1 2017년 이후 예상되는 LHC 데이터 속도 증가와 이벤트 복잡성 증가에 대비해 WLCG 인프라는 어떻게 진화시켜야 하는가?
• RQ2 국립 HPC 센터가 기존에 HTC 시스템에서 처리하던 HEP 워크로드를 얼마나 잘 지원할 수 있으며, 이를 가능하게 하기 위해 어떤 변화가 필요한가?
• RQ3 에너지, 강도, 천체물리학 분야의 미래 HEP 실험을 위한 분산 컴퓨팅 인프라 확장을 둘러싸고 주요 기술적 및 운영 과제는 무엇인가?
• RQ4 HEP 소프트웨어는 어떻게 다수의 멀티코어 및 GPU 가속 아키텍처를 효율적으로 활용하도록 적응시켜야 하는가?
• RQ5 강도 분야 실험에서 이용 가능한 컴퓨팅 시설에 접근할 수 있도록 하기 위해, 자원 공유 및 훈련의 조율된 역할은 무엇이어야 하는가?

주요 결과

• WLCG는 2MHS06의 CPU와 190PB의 디스크를 확보하고 있으며, 2012년 동안 지속적으로 30만 개의 코어를 지원하여 LHC 데이터 처리 및 분석에 26억 시간의 CPU를 기여했다.
• WLCG의 계층적이고 글로벌하게 분산된 HTC 모델은 LHC의 매우 병렬화 가능한 워크로드에 매우 적합하며, 향후에도 LHC 실험의 주요 계산 자원으로 남아 있을 것으로 예상된다.
• 2017년까지 HEP의 HPC 자원 수요는 공급을 4배 이상 초과할 것으로 예측되며, 이는 국립 HPC 센터에서의 심각한 부족을 시사한다.
• NERSC와 같은 국립 센터는 점점 더 HTC와 HPC 워크로드를 모두 지원할 수 있는 능력을 갖추고 있지만, HEP 실험은 이러한 자원에 접근하기 위해 능동적으로 이 센터들과 협력해야 한다.
• 소프트웨어는 미세한 병렬 처리(GPU 등)와 굵은 병렬 처리(MPI 등)를 모두 활용하여 신속히 발전시켜야 하며, 이를 통해 신속한 멀티코어 및 가속 아키텍처를 최대한 활용할 수 있다.
• 상용 클라우드, 대학 클러스터, 국립 HPC 센터의 기회적 이용은 컴퓨팅 아키텍처의 다양화를 보장하고, 증가하는 데이터 수요에 대비한 장기적 지속 가능성을 확보하는 데 필수적이다.