[논문 리뷰] INDIGO-DataCloud: A data and computing platform to facilitate seamless access to e-infrastructures.

Davide Salomoni, Isabel Campos외 61명|arXiv (Cornell University)|2017. 11. 06.

Distributed and Parallel Computing Systems참고 문헌 35인용 수 3

한 줄 요약

INDIGO-DataCloud는 AAI 호환 인터페이스를 통해 공공 및 비공공 전자 인프라(EGI, EUDAT, Helix Nebula 포함)를 통합하는 미들웨어 플랫폼을 제안하며, 클라우드, 그리드, HPC 자원에 대한 원활하고 안전한 액세스를 가능하게 한다. 이 시스템은 하이브리드 인프라 전반에서 컨테이너 기반 실행을 통해 이식 가능한 과학 응용 프로그램을 지원하며, 이미 여러 과학 워크플로우에 활용되고 있는 오픈소스 컴포넌트를 포함하고 있다.

ABSTRACT

This paper describes the achievements of the H2020 project INDIGO-DataCloud. The project has provided e-infrastructures with tools, applications and cloud framework enhancements to manage the demanding requirements of scientific communities, either locally or through enhanced interfaces. The middleware developed allows to federate hybrid resources, to easily write, port and run scientific applications to the cloud. In particular, we have extended existing PaaS (Platform as a Service) solutions, allowing public and private e-infrastructures, including those provided by EGI, EUDAT, and Helix Nebula, to integrate their existing services and make them available through AAI services compliant with GEANT interfederation policies, thus guaranteeing transparency and trust in the provisioning of such services. Our middleware facilitates the execution of applications using containers on Cloud and Grid based infrastructures, as well as on HPC clusters. Our developments are freely downloadable as open source components, and are already being integrated into many scientific applications.

연구 동기 및 목표

• 공공 및 비공공 클라우드, 그리드, HPC 클러스터 등 다양한 과학 전자 인프라에 분산된 액세스 문제를 해결하기 위해.
• 기존 EGI, EUDAT, Helix Nebula의 서비스를 통합되고 상호운용 가능한 플랫폼으로 원활하게 통합하기 위해.
• 컨테이너화 및 표준 인증 기반으로 하이브리드 인프라 전반에서 과학 응용 프로그램의 배포 및 실행을 지원하기 위해.
• GEANT 인터페디션 정책 및 AAI 표준 준수를 통해 서비스 제공의 신뢰성과 투명성을 확보하기 위해.
• 과학 공동체 및 응용 프로그램 전반에서의 도입을 촉진하기 위해 오픈소스 미들웨어 컴포넌트를 제공하기 위해.

제안 방법

• 공공 및 비공공 전자 인프라 전반에서 하이브리드 자원 연합을 지원하도록 기존 PaaS 솔루션을 확장하기 위해.
• GEANT 인터페디션 정책에 부합하는 AAI 호환 인증 및 권한 관리 메커니즘을 구현하기 위해.
• EGI, EUDAT, Helix Nebula의 서비스를 통합된 미들웨어 계층에 통합하여 투명한 액세스를 가능하게 하기 위해.
• 클라우드, 그리드, HPC 환경에서 과학 응용 프로그램의 컨테이너 기반 실행을 가능하게 하기 위해.
• 다양한 인프라 전반에서 쉽게 이식하고 실행할 수 있는 이식 가능한 응용 프로그램 인터페이스를 설계하기 위해.
• 개발된 모든 컴포넌트를 오픈소스 소프트웨어로 배포하여 공동체의 도입 및 통합을 촉진하기 위해.

실험 결과

연구 질문

• RQ1 클라우드, 그리드, HPC 시스템을 포함한 이질적인 전자 인프라 전반에서 과학 응용 프로그램을 어떻게 원활하게 배포하고 실행할 수 있는가?
• RQ2 신뢰성과 투명성을 유지하면서 분산된 전자 인프라 서비스에 대한 안전하고 상호운용 가능한 액세스를 가능하게 하는 미들웨어 아키텍처는 무엇인가?
• RQ3 기존 PaaS 솔루션은 얼마나 넓은 범위로 하이브리드 다중 도메인 과학 컴퓨팅 환경을 지원하도록 확장될 수 있는가?
• RQ4 EGI, EUDAT, Helix Nebula와 같은 다양한 전자 인프라 전반에서 AAI 호환 신원 관리가 어떻게 통합될 수 있는가?
• RQ5 공공 및 비공공 인프라 도메인 전반에서 이식 가능하고 컨테이너 기반의 실행을 가능하게 하는 메커니즘은 무엇인가?

주요 결과

• 미들웨어는 EGI, EUDAT, Helix Nebula의 하이브리드 컴퓨팅 자원을 통합된 액세스 레이어로 성공적으로 연합했다.
• 플랫폼은 AAI 호환 인증을 통해 서비스에 투명하고 안전한 액세스를 가능하게 하여 도메인 간 신뢰를 확보했다.
• 컨테이너화를 통해 과학 응용 프로그램은 클라우드, 그리드, HPC 인프라 전반에서 쉽게 작성하고 이식하며 실행할 수 있다.
• 개발된 컴포넌트는 오픈소스 소프트웨어로 무료로 제공되며, 이미 여러 과학 응용 프로그램에 통합되어 있다.
• GEANT의 인터페디션 정책 준수를 바탕으로 기존 전자 인프라 간의 상호운용성을 지원한다.
• 실제 과학 워크플로우에의 통합을 통해 실용적 타당성과 도입 잠재력을 입증했다.