[논문 리뷰] Snowmass 2013 Computing Frontier Storage and Data Management

M. E Butler, R. Mount외 1명|arXiv (Cornell University)|2013. 11. 18.

Distributed and Parallel Computing Systems참고 문헌 4인용 수 3

한 줄 요약

이 논문은 고에너지물리학(HEP) 실험의 운영 부담을 줄이기 위해 가상 데이터와 최적화된 비용 효율성 있는 스토리지 계층 구조로의 전환을 제안한다. 이는 테이프, 디스크, 고체상태 저장장치를 활용하여 실현 가능하다. 또한 LHC 규모의 시스템을 모델로 삼되, 더 넓은 과학 분야에 적합하도록 조정한 통합적이고 저비용의 데이터 관리 프레임워크를 주장한다. 가상 데이터는 동적으로 수요에 따라 데이터를 생성하고 장기 보존을 가능하게 한다.

ABSTRACT

The data storage and data management needs are summarized for the energy frontier, intensity frontier, cosmic frontier, lattice field theory, perturbative QCD and accelerator science. The outlook for data storage technologies and costs is then outlined, followed by a summary of the current state of data, software and physics analysis capability preservation. The HEP outlook is summarized, pointing out where future data volumes may strain against what is technologically and financially feasible. Finally recommendations for areas of particular attention and action are made.

연구 동기 및 목표

• 고에너지물리학(HEP) 실험에서 페타바이트 규모의 데이터를 저장하고 관리하는 데 증가하는 비용과 복잡성을 해결한다.
• 미국-ATLAS 실험의 경우만 해도 연간 약 450만 달러에 달하는 분산 데이터 관리 시스템 운영 비용을 줄인다.
• HEP 분야의 근본적인 과학적 도전 과제를 충족시키기 위해 공통의 표준화된 인프라 개발을 통해 장기적인 데이터 보존과 개방형 과학을 실현한다.
• HEP 외부 과학 및 산업과의 협력을 통해 HEP 데이터 관리 기술의 상호운용성과 재사용 가능성을 증진한다.
• 특히 디스크 용량 증가 속도 둔화에 대응하는 변화하는 스토리지 비용 동태에 유연하게 대응할 수 있는 유연하고 적응 가능한 계산 모델을 설계한다.

제안 방법

• 필요할 때까지는 실행 가능한 레시피로서만 존재하는 가상 데이터 모델을 도입하여 지속적인 스토리지 비용을 최소화한다.
• 스토리지 비용과 재생산 비용 간의 트레이드오프를 고려해 수요 예측에 기반한 동적 데이터 생성 및 복제를 구현한다.
• ATLAS 및 CMS에서 이미 구현된 증명 가능성 및 워크플로우 시스템을 활용해 가상 데이터 지원을 위한 엄밀한 데이터 유산 기록을 확보한다.
• xrootd와 ROOT 기반의 지속성 기술을 확장 가능하고 분산된 스토리지 시스템과 통합하여 효율적인 데이터 접근 및 전송을 실현한다.
• 접근 패턴에 따라 테이프(저비용, 고지연), 회전 디스크(균형 잡힌 성능), 고체상태 저장장치(저지연, 고비용)를 기반으로 최적화된 스토리지 티어링을 구현한다.
• 특히 디스크 용량 증가 속도 둔화와 SSD 비용 감소 추세를 고려해 하드웨어 트렌드 변화에 지속적으로 대응하고 적응한다.

실험 결과

연구 질문

• RQ1 HEP 실험은 데이터 가용성이나 물리 분석 능력을 희생시키지 않으면서도 분산 데이터 관리의 운영 비용을 어떻게 줄일 수 있는가?
• RQ2 수요에 따라 데이터를 생성하는 가상 데이터 모델이 파생 데이터 및 시뮬레이션 데이터의 지속적 스토리지 방식을 얼마나 대체할 수 있는가?
• RQ3 공동으로 사용 가능한 다학문적 인프라는 HEP 및 그 외 분야에서 장기적인 데이터 보존과 개방형 과학을 어떻게 실현할 수 있는가?
• RQ4 HEP는 기존 소프트웨어(예: ROOT, xrootd)와 증명 가능성 시스템을 어떻게 활용해 확장 가능하고 민첩한 데이터 접근 및 가상 데이터 구현을 지원할 수 있는가?
• RQ5 디스크 용량/비용 향상 속도 둔화의 미래 HEP 컴퓨팅 및 스토리지 아키텍처에 대한 영향은 무엇인가?

주요 결과

• LHC 실험의 데이터 저장 및 분석 비용은 운영 비용의 주요 비중을 차지하며, ATLAS와 CMS는 분산 데이터 관리 운영 유지보수 비용으로 연간 약 450만 달러를 지출하고 있다.
• LHC 실험은 현재 모든 지속적 데이터를 동일하게 취급하지만, 대다수의 데이터를 테이프 전용으로 분류함으로써 비용을 크게 절감할 수 있다.
• 회전 디스크 스토리지 용량/비용 향상 속도가 크게 둔화될 것으로 예상되며, 이는 현재 HEP 컴퓨팅 모델에 영향을 줄 수 있다.
• 고체상태 저장장치는 상대적으로 약 3배 저렴해지고 랜덤 또는 흩어진 접근에 더 적합해질 것으로 예상되지만, 효과적으로 활용하기 위해서는 응용 프로그램 인식 캐싱이 필요하다.
• 가상 데이터 개념—필요할 때만 레시피로서 존재하는 데이터—는 변화하는 스토리지 및 CPU 비용 비율에 동적으로 대응할 수 있도록 한다.
• LHC 실험에서 이미 존재하는 증명 가능성 기록 및 워크플로우 시스템은 가상 데이터 및 장기적 데이터 보존을 지원하기 위한 대부분의 인프라를 포함하고 있다.