[论文解读] FirecREST: RESTful API on Cray XC systems

Felipe A. Cruz, Maxime Martinasso|arXiv (Cornell University)|Nov 29, 2019

Scientific Computing and Data Management参考文献 8被引用 4

一句话总结

FirecREST 是一种基于 REST 的 API 架构，使科学门户能够以程序化方式访问和管理瑞士国家超算中心（CSCS）的 Cray XC 系统上的高性能计算（HPC）资源——包括作业提交、监控和数据传输。通过使用标准化、无状态的 REST 端点并集成认证机制，它简化了科学平台的安全集成，同时通过专用的任务管理微服务支持异步工作流。

ABSTRACT

As science gateways are becoming an increasingly popular digital interface for scientific communities, it is also becoming increasingly important for High-Performance Computing centers to provide a modern Web-enabled APIs. With such interface, science gateways can easily integrate access to HPC center resources. This work presents the FirecREST API, a RESTful Web API infrastructure that allows scientific communities to access the various integrated resources and services available from the Cray XC systems at the Swiss National Supercomputing Centre. FirecREST requirements are derived from use cases described in this work.

研究动机与目标

• 解决国家超算中心中科学门户与 HPC 资源集成日益增长的标准化、安全且可互操作的 Web API 需求。
• 使科学社区能够通过现代化的、基于 REST 的接口访问和管理 Cray XC 系统上的 HPC 工作负载和数据。
• 通过提供单一、可重用的 HPC 访问 API 层，降低网关开发者的复杂性和维护负担。
• 通过基于微服务架构的 API 实现异步操作和可扩展的服务组合，支持任务跟踪。
• 通过与 CSCS 现有授权和认证基础设施集成，确保与现代认证标准的兼容性。

提出的方法

• FirecREST 使用 OpenAPI 规范实现基于微服务架构的 RESTful API，用于定义端点、操作、参数和认证方法。
• 核心服务包括作业管理（提交、监控）、跨文件系统的数据传输，以及异步操作的任务跟踪。
• API 与 CSCS 的集中式认证和授权系统集成，支持外部身份提供商以实现安全访问。
• 每个微服务（如作业、存储、任务）均暴露标准化端点，采用无状态操作，实现对 HPC 资源的模块化和可扩展访问。
• 异步操作通过专用的任务微服务进行管理，可跟踪进度，并允许客户端轮询获取状态更新。
• 该系统设计为通用且可移植，未来可通过对接批处理调度器和存储技术，扩展至非 Cray HPC 系统。

实验结果

研究问题

• RQ1 如何设计一种标准化、安全且可扩展的 RESTful API，以使科学门户能够访问 Cray XC 系统上的 HPC 资源？
• RQ2 在 HPC 环境中，通过 Web API 实现作业提交、监控和数据传输，需要哪些架构模式和服务抽象？
• RQ3 如何有效将认证和授权集成到基于 REST 的 HPC API 中，以支持多租户和外部身份提供商访问？
• RQ4 在无状态 API 架构中，需要何种机制来支持异步工作流（如长时间运行的数据传输或作业执行）？
• RQ5 通用 HPC API 在多大程度上可以与特定硬件或软件栈解耦，以实现在不同 HPC 中心的可重用性？

主要发现

• FirecREST 通过一致且无状态的端点，成功将核心 HPC 功能（如作业提交、监控和数据传输）暴露为标准化的 RESTful API。
• 与 CSCS 现有认证基础设施的集成，实现了对 HPC 资源的安全、基于身份的访问，且无需更改用户工作流。
• 通过专用任务微服务，可有效跟踪异步操作（如数据传输），使客户端能够监控进度而无需阻塞。
• OpenAPI 规范支持机器可读文档、自动生成客户端库，并提升不同网关平台之间的互操作性。
• 该架构支持多种用例，包括用于数据科学的 RENKU、基于 AiiDA 的 Materials Cloud，以及基于 Jupyter 的交互式服务，展现出广泛的适用性。
• FirecREST 设计为可扩展且通用，未来计划支持节点预留和数据转换服务，表明其具备长期适应能力。