[논문 리뷰] CHIPP: INAF pilot project for HTC, HPC and HPDA

Giuliano Taffoni, U. Becciani외 6명|arXiv (Cornell University)|2020. 02. 04.

Advanced Data Storage Technologies인용 수 9

한 줄 요약

CHIPP는 이탈리아의 천체물리학연구소(INAF)에서 트리에스테와 카타니아 소재 INAF 소속 기관들 간에 분산된 고처리량계산(HTC), 고성능계산(HPC), 그리고 자료처리 자원에의 접근을 조율하기 위한 시범 프로젝트이다. 2년간 30개 이상의 프로젝트가 지원되었고, 총 3,000만 CPU 시간이 할당되었으며, 이는 공동체의 높은 수요와 천문학 분야의 중규모 계산 수요를 위한 콜 기반 모델의 타당성을 입증한다.

ABSTRACT

CHIPP (Computing HTC in INAF Pilot Project) is an Italian project funded by the Italian Institute for Astrophysics (INAF) and promoted by the ICT office of INAF. The main purpose of the CHIPP project is to coordinate the use of, and access to, already existing high throughput computing and high-performance computing and data processing resources (for small/medium size programs) for the INAF community. Today, Tier2/Tier3 systems (1,200 CPU/core) are provided at the INAF institutes at Trieste and Catania, but in the future, the project will evolve including also other computing infrastructures. During the last two years, more than 30 programs have been approved for a total request of 30 Million CPU-h. Most of the programs are HPC, data reduction and analysis, machine learning. In this paper, we describe in details the CHIPP infrastructures and the results of the first two years of activity.

연구 동기 및 목표

• 분산된 고처리량계산 및 고성능계산 인fra구조를 이용한 이탈리아 천문학 공동체의 관심을 평가하기 위해.
• 기존의 계산 자원이 천문학자들의 과학적 및 기술적 요구사항을 얼마나 잘 충족하는지 평가하기 위해.
• 자원 할당의 효율성을 위해 최적의 접근 모델—정기적 콜, 순환 콜, 또는 즉시 접근—을 결정하기 위해.
• 시스템 관리 및 향후 소프트웨어 최적화 지원을 포함한 효과적인 사용자 지원 프레임워크를 확립하기 위해.
• 이탈리아 천문학을 위한 국가적이고 확장 가능한 분산 계산 인fra구조(티어-1 유사)의 원형 모델을 제공하기 위해.

제안 방법

• INAF–OATs(트리에스테)와 INAF–OACt(카타니아)에 존재하는 기존의 HPC 및 HTC 클러스터를 핵심 계산 자원으로 활용하였다.
• 이중 콜 제도를 구현: 대규모 프로젝트(80,000 코어시간 초과)에 대한 반기별 경쟁적 콜과 소규모 프로젝트(10,000 코어시간 이하)에 대한 월간 순환 콜.
• 천문학적 자료 감소, 분석, 개발에 적합한 60개 이상의 도구를 포함한 표준 소프트웨어 환경을 제공하였다.
• 과학 워크플로우를 지원하기 위해 싱귤래리티 컨테이너, 주피터 노트북, 원격 데스크톱 액세스를 사용하였다.
• 계산 환경의 맞춤화와 플랫폼의 사용성 향상을 위해 사용자 피드백과 요구사항을 수집하였다.
• 코어시간 할당 및 소비 추적을 통한 자원 이용률 모니터링을 수행하였으며, 각 콜 주기당 완료율을 보고하였다.

실험 결과

연구 질문

• RQ1 이탈리아 천문학 공동체는 얼마나 많은 정도로 분산된 HTC 및 HPC 자원을 과학 계산에 활용하고 있는가?
• RQ2 기존의 중규모 계산 인fra구조는 천문학 연구 프로젝트의 실제 요구사항을 얼마나 잘 충족하는가?
• RQ3 정기적, 순환, 또는 즉시 접근 중 어떤 접근 모델이 다양한 프로젝트 워크로드와 일정을 가장 잘 지원하는가?
• RQ4 비전문가 천문학자들이 HPC/HTC 자원을 효과적으로 활용하기 위해 필요한 사용자 지원 수준(예: 디버깅, 최적화)은 어느 정도인가?
• RQ5 협력적이고 다중 사이트 기반의 인fra구조는 국가 천문학 계산 플랫폼을 위한 확장 가능한 모델이 될 수 있는가?

주요 결과

• 첫 2년 동안 30개 이상의 과학 프로그램이 승인되었으며, 총 요청 할당량은 3,000만 CPU시간이었다.
• 첫 번째 콜은 25개의 제안을 받았으며, 이는 높은 初기 수요를 나타내었고, 이후로는 9~15개의 제안이 매 콜마다 유지되어 사용자 인식의 증가를 반영하였다.
• 첫 네 번의 콜 평균 완료율은 46%였으며, 네 번째 콜은 여전히 진행 중이어서 할당된 자원의 강한 활용도를 보였다.
• 다수의 프로젝트는 HPC, 자료 감소, 분석, 머신러닝에 집중되어 있었으며, 이는 현재 천문학적 자료 과제와 부합하였다.
• 순환 개방형 콜 도입으로 시간 민감하거나 계획되지 않은 계산 수요에 대한 접근성이 크게 향상되었다.
• 이 프로젝트는 분산되고 공동체 기반의 계산 모델의 실현 가능성과 가치를 성공적으로 입증하였으며, 이는 국가 차원의 Data-Star 인프라 구축의 기초가 되었다.