[논문 리뷰] A web portal for hydrodynamical, cosmological simulations

Antonio Ragagnin, Klaus Dolag외 6명|arXiv (Cornell University)|2016. 12. 19.

Computational Physics and Python Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 연구자가 대규모 천체역학 시뮬레이션을 원격 고성능 계산(HPC) 자원을 통해 접근하고 질의하며 분석할 수 있도록 허용하는 다층 웹 포털을 제시한다. 이 시스템은 고급 객체 선택, 실시간 데이터 처리, 그리고 가상 X선 관측 및 2차원 지ap 생성과 같은 전용 분석 도구를 지원하여, 보다 넓은 과학 공동체가 복잡한 천체물리학 데이터를 공유하는 데에 적합하고 확장 가능한 보안 인프라를 입증한다.

ABSTRACT

This article describes a data center hosting a web portal for accessing and sharing the output of large, cosmological, hydro-dynamical simulations with a broad scientific community. It also allows users to receive related scientific data products by directly processing the raw simulation data on a remote computing cluster. The data center has a multi-layer structure: a web portal, a job control layer, a computing cluster and a HPC storage system. The outer layer enables users to choose an object from the simulations. Objects can be selected by visually inspecting 2D maps of the simulation data, by performing highly compounded and elaborated queries or graphically by plotting arbitrary combinations of properties. The user can run analysis tools on a chosen object. These services allow users to run analysis tools on the raw simulation data. The job control layer is responsible for handling and performing the analysis jobs, which are executed on a computing cluster. The innermost layer is formed by a HPC storage system which hosts the large, raw simulation data. The following services are available for the users: (I) {\sc ClusterInspect} visualizes properties of member galaxies of a selected galaxy cluster; (II) {\sc SimCut} returns the raw data of a sub-volume around a selected object from a simulation, containing all the original, hydro-dynamical quantities; (III) {\sc Smac} creates idealised 2D maps of various, physical quantities and observables of a selected object; (IV) {\sc Phox} generates virtual X-ray observations with specifications of various current and upcoming instruments.

연구 동기 및 목표

• 광범위한 과학 공동체가 대규모이고 복잡한 우주론적 시뮬레이션 데이터를 공유하고 분석하는 데 도전 과제를 해결하기 위해.
• 원시 시뮬레이션 출력물과 파생된 과학적 산출물을 위한 확장 가능하고 안전하며 사용자 친화적인 인프라를 제공하기 위해.
• 테라바이트 규모의 데이터셋을 다운로드하지 않고도 원격 HPC 클러스터에서 즉시 분석을 수행할 수 있도록 하기 위해.
• 가상 장치 시뮬레이션과 다중 매개변수 객체 선택을 포함한 고급 과학 워크플로우를 지원하기 위해.
• 향후 설문조사와 변화하는 시뮬레이션 데이터셋을 고려하여 장기적인 데이터 가용성과 확장성을 보장하기 위해.

제안 방법

• 포털은 네 계층 아키텍처를 활용한다: 웹 인터페이스, 작업 제어 계층, HPC 컴퓨팅 클러스터, HPC 스토리지 시스템.
• 사용자는 2차원 지도, 산점도, 또는 Subfind 하위구조 데이터에 대한 복잡한 SQL 유사 질의를 통해 객체를 선택한다.
• 분석 작업은 포털을 통해 제출되며, 원격 HPC 클러스터에서 실행되며, 스토리지 시스템에서 직접 원시 시뮬레이션 데이터를 읽는다.
• 네 핵심 서비스를 구현한다: ClusterInspect(은하단 구성원 분석), SimCut(하위부분 추출), Smac(2차원 물리적 지도 생성), Phox(가상 X선 관측).
• 각 서비스는 투영 축, 물리량, 장치 모델(예: XMM, eROSITA, Athena)과 같은 사용자 정의 가능한 매개변수를 지원한다.
• 로컬 데이터 전송을 피하기 위해 격리된 작업 실행과 직접 데이터 액세스를 통해 보안성과 성능을 확보한다.

실험 결과

연구 질문

• RQ1 테라바이트 규모의 데이터셋을 로컬에 저장하지 않고도 광범위한 과학 공동체가 대규모 우주론적 유체역학 시뮬레이션을 접근하고 분석할 수 있는 방법은 무엇인가?
• RQ2 HPC 인프라에서 복잡한 시뮬레이션 출력물을 효율적이고 안전하며 확장 가능하게 원격으로 분석하기 위해 어떤 아키텍처 설계가 가능한가?
• RQ3 사용자가 직관적인 인터페이스를 통해 시뮬레이션 하위구조(예: 역학적 상태 또는 밀도에 따른 은하단)에 대해 고급 복합 질의를 수행할 수 있는가?
• RQ4 가상 장치 시뮬레이션(예: X선 관측)이 우주론적 데이터를 위한 웹 기반 분석 포털에 얼마나 잘 통합될 수 있는가?
• RQ5 변화하는 시뮬레이션 프로젝트와 향후 천문학적 설문조사에 대비해 장기적인 데이터 가용성과 확장성을 보장하는 메커니즘은 무엇인가?

주요 결과

• 포털은 사용자가 로컬 데이터 저장소 없이도 시각적, 매개변수 기반, 질의 기반 방법을 통해 은하단과 같은 천체 물체를 선택하고 분석할 수 있도록 한다.
• 시스템은 장치 특성에 맞는 반응 함수를 포함하여, Smac를 통한 2차원 물리적 지도 생성과 Phox를 통한 가상 X선 관측을 지원한다. 이는 향후 미션인 Athena에도 적용 가능하다.
• SimCut는 선택된 하위부분에 대해 원시 시뮬레이션 데이터(예: 입자 데이터)의 즉시 추출을 가능하게 하며, 전체 유체역학적 양을 유지한다.
• 포털은 $2 \times 4536^3$ 해상도 요소를 포함하고 몇 테라바이트에 이르는 원시 데이터를 유발하는 Magneticum Pathfinder 시뮬레이션에 배포되었다.
• 인프라는 5년간 보장되며 확장 가능하도록 설계되었으며, 다른 시뮬레이션 프로젝트에 적용하기 위해 요청 시 소스 코드를 제공한다.
• 시스템은 복잡한 천체물리학 데이터에 대해 재현 가능하고 원격에서의 분석을 가능하게 하여, 로컬 HPC 자원을 갖추지 않은 연구자들이 겪는 장벽을 크게 낮춘다.