[논문 리뷰] FirecREST: RESTful API on Cray XC systems

Felipe A. Cruz, Maxime Martinasso|arXiv (Cornell University)|2019. 11. 29.

Scientific Computing and Data Management참고 문헌 8인용 수 4

한 줄 요약

FirecREST는 스위스 국립 초고성능계산센터(CSCS)의 Cray XC 시스템에서 과학 게이트웨이가 프로그래밍 방식으로 HPC 자원—예를 들어 작업 제출, 모니터링, 데이터 전송—을 접근하고 관리할 수 있도록 해주는 RESTful API 인프라이다. 표준화되고 무상태인 REST 엔드포인트를 통해 핵심 HPC 서비스를 노출하고 통합된 인증 기능을 제공함으로써 과학 플랫폼의 보안 통합을 단순화하며, 전용 작업 관리 마이크로서비스를 통해 비동기 워크플로우를 지원한다.

ABSTRACT

As science gateways are becoming an increasingly popular digital interface for scientific communities, it is also becoming increasingly important for High-Performance Computing centers to provide a modern Web-enabled APIs. With such interface, science gateways can easily integrate access to HPC center resources. This work presents the FirecREST API, a RESTful Web API infrastructure that allows scientific communities to access the various integrated resources and services available from the Cray XC systems at the Swiss National Supercomputing Centre. FirecREST requirements are derived from use cases described in this work.

연구 동기 및 목표

• 국립 초고성능계산센터에서 과학 게이트웨이가 HPC 자원과 통합하기 위한 표준화되고 보안적이며 상호운용 가능한 웹 API의 증가하는 필요성을 해결하기 위해.
• 현대적인 RESTful 인터페이스를 통해 과학 커뮤니티가 Cray XC 시스템에서 HPC 워크로드와 데이터를 접근하고 관리할 수 있도록 하기 위해.
• HPC 접근을 위한 단일 재사용 가능한 API 계층을 제공하여 게이트웨이 개발자의 복잡성과 유지보수 부담을 줄이기 위해.
• 작업 추적 기능을 갖춘 마이크로서비스 아키텍처를 통해 비동기 작업 및 확장 가능한 서비스 조합을 지원하기 위해.
• CSCS의 기존 인증 및 권한 관리 인fra구조와 통합함으로써 현대적 인증 표준과의 호환성을 확보하기 위해.

제안 방법

• FirecREST는 엔드포인트, 작업, 매개변수, 인증 방법을 정의하기 위해 OpenAPI 사양을 사용하는 마이크로서비스 아키텍처를 가진 RESTful API를 구현한다.
• 핵심 서비스로는 작업 관리(제출, 모니터링), 파일시스템 간 데이터 전송, 그리고 비동기 작업을 위한 작업 추적 기능이 포함된다.
• API는 CSCS의 중앙 집중식 인증 및 권한 관리 시스템과 통합되어 있으며, 외부 신원 제공자(Identity Provider)를 지원하여 보안 접근을 가능하게 한다.
• 각 마이크로서비스(예: 작업, 스토리지, 작업)는 상태가 없는 운영을 지원하는 표준화된 엔드포인트를 노출함으로써 HPC 자원에 모듈러하고 확장 가능한 접근을 가능하게 한다.
• 비동기 작업은 전용 작업 마이크로서비스를 통해 관리되며, 진행 상황을 추적하고 클라이언트가 상태 업데이트를 휴먼 인식 방식으로 휴먼 인식할 수 있도록 한다.
• 시스템은 일반화되고 이식 가능하도록 설계되었으며, 배치 스케줄러 및 스토리지 기술과의 인터페이스를 통해 비-Cray HPC 시스템으로의 확장 가능성도 있다.

실험 결과

연구 질문

• RQ1 어떻게 표준화되고 보안적이며 확장 가능한 RESTful API를 설계하여 과학 게이트웨이가 Cray XC 시스템의 HPC 자원에 접근할 수 있도록 할 수 있는가?
• RQ2 HPC 환경에서 웹 API를 통해 작업 제출, 모니터링, 데이터 전송을 지원하기 위해 필요한 아키텍처 패턴과 서비스 추상화는 무엇인가?
• RQ3 다중 테넌트 및 외부 신원 제공자 접근을 지원하기 위해 RESTful HPC API에 인증 및 권한 관리 기능을 효과적으로 통합하는 방법은 무엇인가?
• RQ4 무상태 API 설계에서 장시간 실행되는 데이터 전송이나 작업 실행과 같은 비동기 워크플로우를 지원하기 위해 필요한 메커니즘은 무엇인가?
• RQ5 특정 하드웨어나 소프트웨어 스택에서 분리되어 다양한 HPC 센터에서 재사용 가능한 일반적인 HPC API는 어느 정도로 탈중앙화될 수 있는가?

주요 결과

• FirecREST는 일관되고 상태가 없는 엔드포인트를 통해 작업 제출, 모니터링, 데이터 전송 등의 핵심 HPC 기능을 표준화된 RESTful API로 성공적으로 노출시켰다.
• CSCS의 기존 인증 인fra구조와의 통합을 통해 사용자 워크플로우에 변화 없이도 보안적이고 신원 인식 가능한 HPC 자원 접근이 가능해졌다.
• 전용 작업 마이크로서비스의 사용은 비동기 작업(예: 데이터 전송)의 효과적인 추적을 가능하게 하여 클라이언트가 차단 없이 진행 상황을 모니터링할 수 있도록 했다.
• OpenAPI 사양을 통해 기계로 읽을 수 있는 문서화, 자동 생성된 클라이언트 라이브러리, 다양한 게이트웨이 플랫폼 간의 향상된 상호운용성을 확보했다.
• 이 아키텍처는 RENKU를 통한 데이터 과학, AiiDA를 통한 Materials Cloud, 그리고 주피터 기반 인터랙티브 서비스 등 다양한 사용 사례를 지원하여 광범위한 적용 가능성을 입증했다.
• FirecREST는 확장성과 일반성을 고려해 설계되었으며, 향후 노드 예약 및 데이터 변환 서비스 지원 계획이 있어 장기적인 적응 가능성도 보여준다.