[논문 리뷰] ASCR/HEP Exascale Requirements Review Report

Salman Habib, R. Roser외 52명|arXiv (Cornell University)|2016. 03. 30.

Advanced Data Storage Technologies참고 문헌 12인용 수 4

한 줄 요약

이 보고서는 2025년까지 고에너지물리학(HEP) 분야의 엑세스케일 컴퓨팅 요구사항을 요약하며, 고 luminosity LHC(HL-LHC), DUNE, LSST에 의해 유도된 데이터 및 계산 요구사항의 100배 증가를 규명한다. 이 보고서는 HPC, 데이터 관리 및 네트워킹 인프라를 확장하기 위해 HEP-ASCR 간 협업 프레임워크를 제안하며, 코드 리팩터링, 엣지 서비스, 하이브리드 자원 모델을 중심으로 엑세스케일 워크로드를 충족시키기 위한 전략을 수립한다.

ABSTRACT

This draft report summarizes and details the findings, results, and recommendations derived from the ASCR/HEP Exascale Requirements Review meeting held in June, 2015. The main conclusions are as follows. 1) Larger, more capable computing and data facilities are needed to support HEP science goals in all three frontiers: Energy, Intensity, and Cosmic. The expected scale of the demand at the 2025 timescale is at least two orders of magnitude -- and in some cases greater -- than that available currently. 2) The growth rate of data produced by simulations is overwhelming the current ability, of both facilities and researchers, to store and analyze it. Additional resources and new techniques for data analysis are urgently needed. 3) Data rates and volumes from HEP experimental facilities are also straining the ability to store and analyze large and complex data volumes. Appropriately configured leadership-class facilities can play a transformational role in enabling scientific discovery from these datasets. 4) A close integration of HPC simulation and data analysis will aid greatly in interpreting results from HEP experiments. Such an integration will minimize data movement and facilitate interdependent workflows. 5) Long-range planning between HEP and ASCR will be required to meet HEP's research needs. To best use ASCR HPC resources the experimental HEP program needs a) an established long-term plan for access to ASCR computational and data resources, b) an ability to map workflows onto HPC resources, c) the ability for ASCR facilities to accommodate workflows run by collaborations that can have thousands of individual members, d) to transition codes to the next-generation HPC platforms that will be available at ASCR facilities, e) to build up and train a workforce capable of developing and using simulations and analysis to support HEP scientific research on next-generation systems.

연구 동기 및 목표

• HL-LHC, DUNE, LSST와 같은 차세대 HEP 실험으로 인한 증가하는 계산 및 데이터 관리 요구사항을 해결한다.
• 2025년까지 엑세스케일 수준의 시뮬레이션 및 데이터 처리를 지원하기 위해 핵심 HPC, 데이터 및 네트워킹 요구사항을 규명한다.
• HEP 및 ASCR 공동체 간 협업을 촉진하여 엑세스케일 준비가 된 인프라 및 소프트웨어를 공동 개발한다.
• 통합 워크플로우 및 모니터링 시스템을 통해 하이브리드 컴퓨팅 자원—HPC, 클라우드, HTC—의 효율적 사용을 가능하게 한다.
• 현대 아키텍처, 특히 가속기 지원 및 I/O 인식 설계를 고려한 HEP 소프트웨어 및 데이터 파이프라인을 최적화한다.

제안 방법

• 향후 HPC 수요를 평가하기 위해 주요 HEP 및 ASCR 전문가들과 함께 정기적인 요구사항 검토를 수행했다.
• HL-LHC, DUNE, LSST에서 유도된 예상되는 데이터 증가(현재 수준의 최대 200배) 및 처리 요구사항을 분석했다.
• 현재 HEP 워크로드를 평가: 이벤트 시뮬레이션(1.5 MB/이벤트, 약 50초/재구성), 데이터 재구성(1 GB/파일, 약 9시간), 분석.
• HPC 및 가속기 아키텍처를 활용하기 위해 HEP 코드베이스의 리팩터링을 제안하였으며, GPU 및 다중 코어 병렬 처리를 포함한다.
• I/O 병목 현상을 줄이기 위해 엣지 컴퓨팅, 최적화된 데이터 캐싱, 향상된 네트워킹(예: ESnet, Internet2)을 주장했다.
• 비용, 가용성 및 작업의 중요도를 기반으로 HPC, 클라우드, HTC 간 자동 작업 라우팅이 가능한 하이브리드 자원 모델을 권장했다.

실험 결과

연구 질문

• RQ1 HL-LHC, DUNE, LSST를 고려할 때, 2025년까지 HEP 과학을 지원하기 위해 필요한 계산 및 데이터 인프라의 규모는 무엇인가?
• RQ2 HEP 워크로드는 엑세스케일 HPC 아키텍처(가속기 및 고처리량 시스템 포함)를 효율적으로 활용하기 위해 어떻게 리팩터링될 수 있는가?
• RQ3 HPC, 클라우드, HTC를 통합한 하이브리드 컴퓨팅 모델은 동적인 HEP 워크로드 요구사항을 충족시키기 위해 어떤 역할을 해야 하는가?
• RQ4 시뮬레이션 및 재구성 워크로드에서 I/O 및 네트워크 성능을 최적화하여 병목 현상을 방지하려면 어떻게 해야 하는가?
• RQ5 HEP 및 ASCR 간의 공동 설계 및 엑세스케일 준비가 된 컴퓨팅 및 데이터 서비스 배포를 위해 필요한 협업 프레임워크는 무엇인가?

주요 결과

• HL-LHC만으로도 처리 용량이 약 10배 증가하고 데이터 볼륨이 10배 증가할 것으로 예상되며, 하드웨어 트렌드와 일치하지만 새로운 인프라가 필요하다.
• 차세대 실험에서 발생하는 데이터 생산량은 현재 수준의 최대 200배에 이를 것으로 예상되며, 이는 테이프 스토리지 및 고용량 데이터 관리 시스템이 필요함을 의미한다.
• 현재 하드웨어에서 1GB의 시뮬레이션 데이터 파일 재구성에 약 9시간이 소요되며, 이는 I/O 및 처리 병목 현상을 드러낸다.
• HEP에서 HPC 활용도는 평균 95% 이상을 초과하여 높은 효율성을 보이지만, 확장성 있고 I/O 최적화된 시스템이 필요함을 시사한다.
• 비용 인식 기반 자동화된 작업 라우팅을 통해 HPC, 클라우드, HTC 자원을 통합하는 것이 탄력성과 성능 향상에 필수적이다.
• 병렬 처리, 메모리 확장성, 가속기 지원을 위한 HEP 소프트웨어의 리팩터링은 엑세스케일 준비를 달성하기 위해 필수적이다.