[논문 리뷰] INAF Trieste Astronomical Observatory Information Technology Framework

Sara Bertocco, David Goz외 7명|arXiv (Cornell University)|2019. 12. 11.

Distributed and Parallel Computing Systems참고 문헌 2인용 수 15

한 줄 요약

이 논문은 INAF 트리에스테 천문대가 구축한 통합 고성능 컴퓨팅(HPC), HTC, 클라우드 인프라—HOTCAT 및 CloudCAT—를 제시하며, 엑사스케일 컴퓨팅 연구, EOSC 통합, LOFAR 및 유클리드와 같은 주요 천문학적 프로젝트를 지원한다. 이 프레임워크는 IVOA 표준을 통해 고도화된 데이터 감축, 시뮬레이션, 상호운용성 있는 가상 천문대 서비스를 가능하게 하며, 분산 컴퓨팅, 엑사스케일 프로토타이핑, 유럽 연구 인fra구조를 위한 과학적 데이터 처리 분야에서의 주요 기여를 이룬다.

ABSTRACT

INAF Trieste Astronomical Observatory (OATs) has a long tradition in information technology applied to Astronomical and Astrophysical use cases, particularly for what regards computing for data reduction, analysis and simulations; data and archives management; space missions data processing; design and software development for ground-based instruments. The ensemble of these activities, in the last years, pushed the need to acquire new computing resources and technologies and to deep competences in theirs management. In this paper we describe INAF-OATs computing centre technological stuff, our involvement in different EU Projects both in the path of building of EOSC, the European Open Science Cloud; in the design and prototyping of new Exascale supercomputers in Europe and the main research activities carried on using our computing centre.

연구 동기 및 목표

• INAF 트리에스테 천문대에서 천문학적 데이터 처리 및 시뮬레이션을 위한 확장 가능하고 상호운용성 있는 IT 인fra구조를 구축하기 위해.
• ExaNeSt 및 EuroExa와 같은 유럽 연합 프로젝트에 참여하여 유럽 엑사스케일 슈퍼컴퓨터 시스템의 개발 및 통합을 지원하기 위해.
• IVOA 준수 가상 천문대(VO) 서비스를 통해 유럽 연구 인fra구조 간의 원활한 데이터 액세스 및 상호운용성을 보장하기 위해.
• ESCAPE 프로젝트를 통해 ESFRI 프로젝트를 유럽 오픈 과학 클라우드(EOSC)에 통합하는 테스트베드를 제공하기 위해.
• LOFAR 및 유클리드와 같은 대규모 천문학적 시뮬레이션과 데이터 집약적 임무를 위한 전용 HPC 및 클라우드 자원을 통해 지원하기 위해.

제안 방법

• PBS 작업 스케줄러와 베이그리스 병렬 파일 시스템, 인피니밴드 인터커넥트를 사용한 고성능 컴퓨팅(HPC) 클러스터인 HOTCAT의 구축으로 저지연, 고처리량 워크로드를 위한 최적화.
• OpenStack 기반 클라우드 인프라인 CloudCAT의 도입으로 스위프트 객체 스토리지, 천문학 소프트웨어를 사전 설정한 VM 이미지, 원격 데스크톱 액세스 기능을 제공.
• ESCAPE, ExaNeSt, EuroExa와 같은 EU 재정 지원 프로젝트에의 참여를 통해 엑사스케일 시스템 프로토타이핑 및 EOSC 생태계에 IVOA 표준 통합을 위한 연구.
• 국제 플랫폼인 CANFAR와 같은 플랫폼 간 연합된 상호운용성 있는 데이터 액세스를 가능하게 하는 IVOA 준수 VO 서비스의 개발 및 구현.
• 컨테이너 기반 VO 인식 애플리케이션의 통합 및 EOSC에 ESFRI 준수 과학 데이터 플랫폼 통합을 위한 테스트베드로 컴퓨팅 센터 활용.
• 200만 核시간의 대규모 천체역학 시뮬레이션을 HOTCAT 클러스터에서 수행하여 재이온화 이전에서 저적색도까지의 우주의 진화를 모델링.

실험 결과

연구 질문

• RQ1 HPC, HTC, 클라우드 자원을 융합한 분산형 하이브리드 IT 인프라는 다양한 천문학적 워크로드, 특히 시뮬레이션과 데이터 집약적 분석을 어떻게 최적화할 수 있는가?
• RQ2 국가 및 국제 천문학적 데이터 인프라를 유럽 오픈 과학 클라우드(EOSC)에 통합하기 위해 필요한 아키텍처적 기준과 상호운용성 표준은 무엇인가?
• RQ3 SKA 및 유클리드와 같은 차세대 천문학 임무의 계산 요구사항을 충족하기 위해 엑사스케일 컴퓨팅 프로토타입을 어떻게 설계하고 테스트할 수 있는가?
• RQ4 지역 컴퓨팅 센터는 예비 엑사스케일 HPC 시스템을 활용해 다년간의 대규모 천체역학 시뮬레이션을 수행하는 데 어떤 역할을 할 수 있는가?
• RQ5 IVOA 표준 기반의 가상 천문대(VO) 서비스는 어떻게 컨테이너화하고 하이브리드 클라우드 환경에 통합하여 과학적 협업을 지원할 수 있는가?

주요 결과

• HOTCAT 클러스터는 1,400개의 CPU 코어, 8.5TB의 메모리, 500TB의 베이그리스 스토리지와 2GB/sec의 전송 속도를 제공하며, 인피니밴드를 통해 1마이크로초의 지연을 달성한다.
• CloudCAT 클러스터는 200개의 CPU 코어, 스위프트를 통한 1.6PB의 객체 스토리지, 중간 크기 워크로드를 위한 CHIPP 프로젝트를 통해 최대 1,200개의 CPU/코어 용량을 지원한다.
• INAF-OAT는 ExaNeSt 및 EuroExa에의 참여를 통해 엑사스케일 시스템의 설계 및 프로토타이핑에 기여하여, 유럽 엑사스케일 컴퓨팅를 위한 통합 인터커넥트 및 랙 아키텍처를 발전시켰다.
• 센터는 ESCAPE 프로젝트의 테스트베드로 기능하며, IVOA 준수 VO 서비스를 EOSC 하이브리드 클라우드 환경에 성공적으로 통합하고 VO 인식 애플리케이션의 컨테이너화를 검증했다.
• HOTCAT 클러스터에서 200만 이상의 핵시간이 천체역학 시뮬레이션에 사용되어 적색도 범위에 걸쳐 우주의 진화를 모델링하는 다년간의 캠프에 기여했다.
• 관측소는 LOFAR 데이터 처리 및 유클리드 과학 지상 세그먼트 지원를 포함하여 국가 및 국제적 데이터 인fra구조 노력에 기여하며, SKA 시대의 데이터 과제에 대비한 준비성을 확보하고 있다.