[论文解读] INDIGO-DataCloud: A data and computing platform to facilitate seamless access to e-infrastructures.

Davide Salomoni, Isabel Campos+61 more|arXiv (Cornell University)|Nov 6, 2017

Distributed and Parallel Computing Systems参考文献 35被引用 3

一句话总结

INDIGO-DataCloud 提出了一种中间件平台，通过符合 AAI 的接口集成公共和私有电子基础设施（包括 EGI、EUDAT 和 Helix Nebula），实现对云、网格和 HPC 资源的无缝、安全访问。该系统支持通过容器化执行在混合基础设施上运行可移植的科学应用，其开源组件已应用于多个科学工作流。

ABSTRACT

This paper describes the achievements of the H2020 project INDIGO-DataCloud. The project has provided e-infrastructures with tools, applications and cloud framework enhancements to manage the demanding requirements of scientific communities, either locally or through enhanced interfaces. The middleware developed allows to federate hybrid resources, to easily write, port and run scientific applications to the cloud. In particular, we have extended existing PaaS (Platform as a Service) solutions, allowing public and private e-infrastructures, including those provided by EGI, EUDAT, and Helix Nebula, to integrate their existing services and make them available through AAI services compliant with GEANT interfederation policies, thus guaranteeing transparency and trust in the provisioning of such services. Our middleware facilitates the execution of applications using containers on Cloud and Grid based infrastructures, as well as on HPC clusters. Our developments are freely downloadable as open source components, and are already being integrated into many scientific applications.

研究动机与目标

• 解决在公共和私有云、网格和 HPC 集群中访问多样化科学电子基础设施的碎片化挑战。
• 实现将 EGI、EUDAT 和 Helix Nebula 的现有服务无缝集成到统一、互操作的平台中。
• 通过容器化和标准化认证，支持在混合基础设施上部署和执行科学应用。
• 通过符合 GEANT 互连政策和 AAI 标准，确保服务提供过程中的信任与透明。
• 提供开源中间件组件，促进科学界和应用的采纳。

提出的方法

• 扩展现有的 PaaS 解决方案，以支持在公共和私有电子基础设施之间进行混合资源联邦。
• 实现与 GEANT 互连政策对齐的 AAI 兼容身份认证和授权机制。
• 将 EGI、EUDAT 和 Helix Nebula 的服务整合到统一的中间件层，实现透明访问。
• 在云、网格和 HPC 环境中支持科学应用的容器化执行。
• 设计可移植的应用程序接口，使应用能够在不同基础设施上轻松移植和执行。
• 将所有开发组件以开源软件形式发布，以促进社区采纳和集成。

实验结果

研究问题

• RQ1 如何在异构电子基础设施（包括云、网格和 HPC 系统）之间无缝部署和执行科学应用？
• RQ2 何种中间件架构能够实现对分布式电子基础设施服务的安全、互操作访问，同时保持信任与透明？
• RQ3 现有 PaaS 解决方案在多大程度上可扩展以支持混合、多域的科学计算环境？
• RQ4 如何将符合 AAI 的身份管理机制集成到 EGI、EUDAT 和 Helix Nebula 等多样化电子基础设施中？
• RQ5 何种机制能够实现在公共和私有基础设施域之间可移植的容器化科学应用执行？

主要发现

• 中间件成功将来自 EGI、EUDAT 和 Helix Nebula 的混合计算资源联邦化为统一的访问层。
• 该平台通过符合 AAI 的身份认证实现服务的透明且安全访问，确保跨域信任。
• 科学应用可通过容器化技术轻松编写、移植并在云、网格和 HPC 基础设施上执行。
• 所开发的组件作为开源软件免费提供，并已集成到多个科学应用中。
• 该解决方案在保持与 GEANT 互连政策兼容的同时，支持现有电子基础设施之间的互操作性。
• 通过在科学工作流中的实际集成，该系统展示了实际可行性与采纳潜力。