[논문 리뷰] HEP Software Foundation Community White Paper Working Group -- Data Organization, Management and Access (DOMA)

D. Berzano, R. M. Bianchi외 36명|arXiv (Cornell University)|2018. 11. 30.

Advanced Data Storage Technologies참고 문헌 4인용 수 4

한 줄 요약

이 화이트페이퍼는 고에너지물리학(HEP) 분야의 데이터 조직, 관리 및 접근 방식(DOMA)에 있어 전환적 전환을 제안하며, 이벤트 기반 데이터 접근, 최적화된 저장 포맷, 동적 데이터 배치를 통해 HL-LHC와 DUNE의 엑사바이트 규모의 데이터 과제를 해결하고자 한다. 2020년까지 개념 실증 실험을 통해 수행되는 조율된 R&D 로드맵을 통해 클라우드 및 HPC 자원을 포함한 다양한 컴퓨팅 환경에서 효율적이고 비용 효율적이며 확장 가능한 데이터 접근을 가능하게 한다.

ABSTRACT

Without significant changes to data organization, management, and access (DOMA), HEP experiments will find scientific output limited by how fast data can be accessed and digested by computational resources. In this white paper we discuss challenges in DOMA that HEP experiments, such as the HL-LHC, will face as well as potential ways to address them. A research and development timeline to assess these changes is also proposed.

연구 동기 및 목표

• HL-LHC와 DUNE 실험에서 예상되는 엑사바이트 규모의 데이터 과제를 해결하여 기존 데이터 관리 능력을 뛰어넘는 것을 방지한다.
• 클라우드 및 HPC 자원과 같은 동적 컴퓨팅 자원의 효율적 활용을 저해하는 현재의 파일 기반, ROOT 중심의 데이터 접근 모델의 한계를 극복한다.
• 이질적인 스토리지 및 컴퓨팅 인프라를 통해 비용 효율적이고 확장 가능하며 저지연 시간의 데이터 접근을 가능하게 하여 과학적 성과를 극대화한다.
• 머신러닝 및 실시간 분석과 같은 현대 워크로드에 최적화된 새로운 데이터 접근 패러다임(예: 이벤트 수준 접근, 데이터 캐싱)을 개발하고 검증한다.
• HL-LHC의 데이터 폭주가 시작되기 전에 기존 시스템에서 차세대 데이터 관리 프레임워크로의 전환을 위한 조율된 R&D 로드맵을 수립한다.
• 하드웨어, 네트워크 및 애플리케이션 트렌드의 변화에 맞춰 데이터 관리를 통합함으로써 HEP 컴퓨팅의 장기적 지속 가능성을 확보한다.

제안 방법

• 동적 컴퓨팅 환경에서의 효율성을 높이기 위해 데이터셋 기반 또는 파일 기반 접근에서 이벤트 기반 또는 서브이벤트 기반 접근으로의 전환을 제안한다.
• 시뮬레이션, 재구성 및 분석 워크로드 전반에서 성능을 평가하기 위해 열 기반과 열 기반 외부 데이터 조직 방식을 비교한다.
• 필터링 및 하드웨어 가속 기능에 최적화된 현대적 데이터 저장 포맷(예: Parquet, ORC)과 압축 기법의 실현 가능성을 평가한다.
• 광역망에서의 데이터 전달 및 캐싱 향상을 위해 콘텐츠 딜리버리 네트워크(CDN)와 이름 기반 네트워킹(NDN)의 활용 가능성을 조사한다.
• 특히 머신러닝 워크로드와 사전 예약 가능한 클라우드 자원을 대상으로 데이터 캐싱 실험을 수행하여 복원성과 효율성을 향상시킨다.
• 지속 가능한 대규모 분석을 지원하기 위해 맵리듀스 및 스파크 유사 분석 프레임워크를 HEP 데이터 파이프라인에 통합할 수 있는지를 탐색한다.

실험 결과

연구 질문

• RQ1 클라우드 스폰지 인스턴스나 HPC 클러스터와 같은 기회적 컴퓨팅 자원에서 이벤트 수준의 데이터 접근이 작업 복구성과 효율성에 뚜렷한 개선 효과를 줄 수 있는가?
• RQ2 열 기반과 열 기반 외부 데이터 레이아웃이 필터링 및 집계를 포함한 일반적인 HEP 분석 워크로드에 미치는 영향은 어떠한가?
• RQ3 Parquet, ORC와 같은 현대적 저장 포맷이 ROOT 형식에 비해 데이터 접근 효율성 향상과 I/O 오버헤드 감소에 어느 정도 기여할 수 있는가?
• RQ4 HEP 컴퓨팅 워크플로우에서 광역망 데이터 배포에 CDNs와 NDN을 사용할 경우 성능 및 비용 효율성은 어떠한가?
• RQ5 다양한 스토리지 티어와 액세스 패턴을 고려할 때 캐싱 전략을 어떻게 최적화하여 지연 시간을 줄이고 동적 컴퓨팅 자원의 활용도를 높일 수 있는가?

주요 결과

• 현재의 파일 기반, ROOT 중심의 데이터 관리 모델은 HL-LHC와 DUNE에서 예상되는 엑사바이트 규모의 데이터 볼륨을 감당하기에 부적절하다.
• 이벤트 수준의 데이터 접근은 클라우드 스폰지 인스턴스와 같은 동적이고 사전 예약 가능한 컴퓨팅 자원에서 복원성과 효율성을 크게 향상시킬 잠재력을 보이고 있다.
• 열 기반 데이터 포맷은 필터링 및 분석 워크로드에서 뚜렷한 이점을 제공하며, 특히 효율적인 압축과 메타데이터 색인화와 조합될 경우 더욱 유리하다.
• 특히 CDN 또는 NDN과 결합된 캐싱은 데이터 접근 지연 시간을 크게 줄이고 분산 컴퓨팅 자원의 활용도를 향상시킬 수 있다.
• 기회적이고 전략적인 스토리지 솔루션(예: 오브젝트 스토어, 키-밸류 스토어)은 인프라 비용을 절감하고 데이터 배치의 유연성을 향상시킬 수 있다.
• 지연 시간, 비용, CPU 효율성을 균형 잡는 글로벌 데이터 접근 최적화를 위해서는 데이터 레이크 아키텍처 및 지능형 데이터 라우팅 도입을 포함한 데이터 배치 전략의 재고가 필요하다.