[論文レビュー] INDIGO-DataCloud: A data and computing platform to facilitate seamless access to e-infrastructures.

Davide Salomoni, Isabel Campos+61 more|arXiv (Cornell University)|Nov 6, 2017

Distributed and Parallel Computing Systems参考文献 35被引用数 3

ひとこと要約

INDIGO-DataCloud は、AAI準拠インタフェースを介して、EGI、EUDAT、Helix Nebula を含む公開および非公開のeインfraストラクチャを統合するミドルウェアプラットフォームを提案しており、クラウド、グリッド、HPCリソースへのシームレスで安全なアクセスを可能にしている。このシステムは、ハイブリッドインフラストラクチャにわたるコンテナ化実行を活用してポータブルな科学的アプリケーションをサポートしており、すでに複数の科学的ワークフローで採用されているオープンソースコンポーネントを備えている。

ABSTRACT

This paper describes the achievements of the H2020 project INDIGO-DataCloud. The project has provided e-infrastructures with tools, applications and cloud framework enhancements to manage the demanding requirements of scientific communities, either locally or through enhanced interfaces. The middleware developed allows to federate hybrid resources, to easily write, port and run scientific applications to the cloud. In particular, we have extended existing PaaS (Platform as a Service) solutions, allowing public and private e-infrastructures, including those provided by EGI, EUDAT, and Helix Nebula, to integrate their existing services and make them available through AAI services compliant with GEANT interfederation policies, thus guaranteeing transparency and trust in the provisioning of such services. Our middleware facilitates the execution of applications using containers on Cloud and Grid based infrastructures, as well as on HPC clusters. Our developments are freely downloadable as open source components, and are already being integrated into many scientific applications.

研究の動機と目的

• 公開および非公開のクラウド、グリッド、HPCクラスタを横断する多様な科学的eインフラストラクチャへのアクセスが断片的であるという課題に対処すること。
• EGI、EUDAT、Helix Nebula の既存サービスを、統一的かつ相互運用可能なプラットフォームにシームレスに統合すること。
• コンテナ化と標準化された認証を活用して、ハイブリッドインフラストラクチャにわたる科学的アプリケーションのデプロイと実行を支援すること。
• GEANT相互接続ポリシーおよびAAI基準への準拠を通じて、サービス提供における信頼性と透明性を確保すること。
• 科学コミュニティおよびアプリケーションへの広範な採用を促進するため、オープンソースのミドルウェアコンポーネントを提供すること。

提案手法

• 公開および非公開のeインフラストラクチャにわたるハイブリッドリソース連携を可能にする既存のPaaSソリューションの拡張。
• GEANT相互接続ポリシーに整合したAAI準拠の認証および承認メカニズムの実装。
• EGI、EUDAT、Helix Nebula のサービスを統一されたミドルウェア層に統合し、透過的なアクセスを可能にすること。
• クラウド、グリッド、HPC環境における科学的アプリケーションのコンテナベース実行を可能にすること。
• 多様なインフラストラクチャにわたる容易な移行と実行を可能にするポータブルアプリケーションインターフェースの設計。
• コミュニティによる採用と統合を促進するため、開発済みコンポーネントをすべてオープンソースソフトウェアとしてリリースすること。

実験結果

リサーチクエスチョン

• RQ1 クラウド、グリッド、HPCシステムを含む異種eインフラストラクチャにわたる科学的アプリケーションを、どのようにシームレスにデプロイおよび実行できるか？
• RQ2 信頼性と透明性を維持しつつ、分散eインfraストラクチャサービスへの安全で相互運用可能なアクセスを可能にするミドルウェアアーキテクチャはどのようなものか？
• RQ3 既存のPaaSソリューションは、ハイブリッドでマルチドメインの科学的コンピューティング環境をサポートするためにどの程度拡張可能か？
• RQ4 EGI、EUDAT、Helix Nebula などの多様なeインフラストラクチャにわたるAAI準拠のアイデンティティ管理は、どのように統合できるか？
• RQ5 公開および非公開インフラストラクチャドメインにわたるポータブルでコンテナ化された科学的アプリケーションの実行を可能にするメカニズムは何か？

主な発見

• ミドルウェアは、EGI、EUDAT、Helix Nebula のハイブリッドコンピューティングリソースを統一されたアクセス層に統合することに成功した。
• プラットフォームは、AAI準拠の認証を通じて、ドメイン間をまたがる透過的で安全なサービスアクセスを可能にし、信頼性を確保している。
• コンテナ化を活用することで、科学的アプリケーションはクラウド、グリッド、HPCインフラストラクチャにわたって簡単に記述・移行・実行できる。
• 開発されたコンポーネントは、オープンソースソフトウェアとして自由に利用可能であり、すでに複数の科学的アプリケーションに統合されている。
• GEANTの相互接続ポリシーに準拠しつつ、既存のeインフラストラクチャ間の相互運用性をサポートしている。
• 科学的ワークフローにおける実際の統合を通じて、実用的妥当性と採用可能性が実証された。