[논문 리뷰] Snowmass Computing Frontier: Computing for the Cosmic Frontier, Astrophysics, and Cosmology

Andrew J. Connolly, Salman Habib외 15명|arXiv (Cornell University)|2013. 11. 12.

Relativity and Gravitational Theory참고 문헌 1인용 수 4

한 줄 요약

이 논문은 다음 세대의 설문조사와 시뮬레이션에서 발생하는 엑사바이트 수준의 데이터로 인해 증가하는 코스믹 프론티어 과학의 계산 요구 증가를 서술한다. 이는 암흑 에너지, 암흑 물질, 기본 물리학을 포함한다. 논문은 지속 가능한 소프트웨어 개발, 공동체 수준의 코드 검증, 데이터 집약적 과학을 뒷받침하기 위한 새로운 경력 경로를 주장하며, 향후 발견을 위한 소프트웨어를 필수적인 '측정기기'로 위치시킨다.

ABSTRACT

This document presents (off-line) computing requrements and challenges for Cosmic Frontier science, covering the areas of data management, analysis, and simulations. We invite contributions to extend the range of covered topics and to enhance the current descriptions.

연구 동기 및 목표

• 다음 세대의 코스믹 프론티어 실험에서 발생하는 증가하는 계산 및 데이터 관리 과제를 해결한다.
• 다양한 협력 프로젝트 간 대규모 데이터 분석 및 시뮬레이션을 지원하기 위한 지속 가능하고 재사용 가능한 소프트웨어 프레임워크의 필요성을 규명한다.
• 신뢰성과 오류 감소를 위해 공동체 수준의 소프트웨어 검증, 테스팅, 상호 비교 전략을 제안한다.
• 현재의 학술 교육과 향후 물리학 연구에 요구되는 계산 기술 간 괴리를 부각한다.
• 대학 및 국립연구소에서 계산 물리학자들을 위한 장기적인 경력 경로와 기관적 지원을 주장한다.

제안 방법

• 2035년까지 코스믹 프론티어 실험과 시뮬레이션의 향후 데이터 및 계산 요구를 예측하여, 스토리지 용량은 최대 100~1500PB, CPU 코어 수는 1억 개 이상으로 추정한다.
• DES, BOSS, LSST, 중성미자 검출기 등을 포함한 주요 실험들의 현재 데이터 파이프라인과 시뮬레이션 워크플로우를 분석한다.
• 버전 제어, 자동화된 테스팅, 지속적 통합과 같은 소프트웨어 공학 최고 실천 방식을 과학 소프트웨어에 도입할 것을 촉구한다.
• 핵심 분석 코드의 상호 검증을 지원하기 위한 공개적이고 장기적인 소프트웨어 테스트 시설 및 레지스트리 구축을 제안한다.
• 다양한 실험과 협력 프로젝트 간에 재사용 가능한 공통 소프트웨어 도구의 개발을 장려한다.
• 핵심 알고리즘의 검증과 체계적 오류 감소를 위해 공동체 주도의 '맹점 도전'과 벤치마킹 활동을 시행할 것을 촉구한다.

실험 결과

연구 질문

• RQ1 다음 20년간 코스믹 프론티어 실험에서 데이터 볼륨과 계산 작업량은 어떻게 증가할 것인가?
• RQ2 대규모 천체물리학 데이터의 신뢰성 있고 재현 가능하며 확장 가능한 분석을 보장하기 위해 핵심적인 소프트웨어 및 데이터 관리 과제는 무엇인가?
• RQ3 다양한 실험 간에 시뮬레이션 및 분석 소프트웨어의 강건성과 재사용 가능성을 향상시키기 위해 과학 공동체는 어떻게 해야 하는가?
• RQ4 물리학과 데이터 과학의 융합 분야에서 다음 세대의 계산 물리학자를 지원하기 위해 필요한 기관적 및 경력 구조는 무엇인가?
• RQ5 공동체 수준의 테스트 및 검증 프레임워크는 고성능 천체물리학 결과의 오류 감소와 신뢰도 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 2035년까지 코스믹 프론티어 실험은 최대 1 엑사바이트의 데이터를 생성할 것으로 예측되며, 2013년 대비 데이터 전송 속도가 100배에서 1000배 증가할 것으로 예상된다.
• 2030년까지 시뮬레이션은 1 엑사바이트 이상의 스토리지 용량과 연간 10억 개 이상의 CPU 시간이 필요할 것이며, 피크 계산 요구는 10억 개 이상의 코어를 초과할 것이다.
• 다양한 실험 간에 독립적으로 개발되는 분석 및 시뮬레이션 소프트웨어는 중복, 비효율성, 오류 위험 증가를 초래한다.
• 현재 공동체는 표준화되고 지속 가능한 소프트웨어 인프라가 부족하여 기술 부채가 누적되고 고성능 분석의 재현성이 떨어지고 있다.
• 미래 연구에 요구되는 계산 능력과 기존 물리학 교육 및 경력 경로 사이에 점점 커지는 괴리가 존재한다.
• 논문은 과학적 신뢰성과 진전을 보장하기 위해 소프트웨어 공학 실천, 공통 코드베이스, 공동체 테스트 시설에 대한 장기적 투자의 필수성을 규명한다.