[논문 리뷰] MultiCloud Resource Management using Apache Mesos with Apache Airavata

Pankaj Saha, Madhusudhan Govindaraju외 2명|arXiv (Cornell University)|2016. 01. 01.

Cloud Computing and Resource Management인용 수 4

한 줄 요약

이 논문은 Apache Airavata를 위한 메타 스케줄러를 제안하며, Apache Mesos를 활용해 여러 클라우드 간 자원 관리를 통합하여 공용 IP 주소가 없는 VM에서도 NAT 기반 가시성을 통해 작업 스케줄링을 가능하게 한다. 이 방법은 과학자들이 여러 작은 작업을 제출할 경우 효율적인 워크로드 리디렉션을 가능하게 하여 자원 활용도와 다중 클라우드 간 협업을 향상시킨다.

ABSTRACT

We discuss initial results and our planned approach for incorporating Apache Mesos based resource management that will enable design and development of scheduling strategies for Apache Airavata jobs so that they can be launched on multiple clouds, wherein several VMs do not have Public IP addresses. We present initial work and next steps on the design of a meta-scheduler for Apache Airavata, which uses Apache Mesos to present a unified view of resources available across several clouds and clusters. This meta-scheduler can potentially examine and identify the cases where multiple small jobs have been submitted by the same scientists and then redirect job from the same community account or user to different clusters. Our approach uses a NAT firewall to make cloud VMs, without a Public IP, visible to Mesos for the unified view.

연구 동기 및 목표

• 공용 IP 주소가 없는 VM을 가진 여러 클라우드 환경에서 계산 워크로드를 관리하는 데 도전 과제를 해결하기 위해.
• 이질적인 클라우드 및 클러스터 자원을 단일 관리 가능한 자원 풀로 통합하는 메타 스케줄러를 설계하기 위해.
• 동일한 사용자 또는 커뮤니티에서 제출된 여러 작은 작업을 식별하고 최적의 클러스터로 리디렉션함으로써 작업 스케줄링 효율성을 향상시키기 위해.
• NAT 방화벽을 통해 사설 또는 격리된 클라우드 VM을 Mesos에 노출시켜, 이들 VM에서 작업을 원활하게 실행할 수 있도록 하기 위해.

제안 방법

• 여러 클라우드 제공업체 및 온프레미스 클러스터 간에 Apache Mesos를 중심 자원 관리 계층으로 통합하기 위해.
• 공용 IP가 없는 VM을 Mesos에 노출하기 위해 NAT 방화벽을 사용하여, 이들이 통합 자원 풀의 일부로 발견되고 관리될 수 있도록 하기 위해.
• Apache Airavata에 메타 스케줄러를 구현하여 작업 제출 패턴과 워크로드 특성을 모니터링하기 위해.
• 동일한 사용자 또는 커뮤니티에서 온 작업들을 그룹화하고 다른 클러스터로 리디렉션함으로써 자원 경쟁을 줄이는 스케줄링 정책을 적용하기 위해.
• Mesos의 프레임워크 추상화를 활용하여 이질적인 환경 간에 동적 작업 실행 및 자원 할당을 지원하기 위해.
• 성능, 비용 또는 데이터 근접성 기반의 고도화된 스케줄링 전략을 향후 확장 가능하도록 시스템 설계하기 위해.

실험 결과

연구 질문

• RQ1 공용 IP 주소가 없는 VM은 어떻게 통합 클라우드 자원 관리 시스템에 효과적으로 통합될 수 있는가?
• RQ2 동일한 사용자 또는 커뮤니티에서 여러 작은 작업이 제출될 경우 효율성을 향상시키기 위한 스케줄링 전략은 무엇인가?
• RQ3 Apache Mesos는 과학 워크플로우를 위해 이질적인 클라우드 및 클러스터 자원을 추상화하고 통합하기 위해 어떻게 사용될 수 있는가?
• RQ4 다중 클라우드 환경 간에 확장 가능하고 보안적인 작업 리디렉션을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ5 NAT 기반 가시성은 Mesos를 사설 또는 격리된 클라우드 VM으로 확장하는 데 어떤 역할을 하는가?

주요 결과

• 메타 스케줄러는 여러 제공업체 간 클라우드 및 클러스터 자원에 대한 액세스를 성공적으로 통합하여 중심 집중식 작업 관리를 가능하게 했다.
• NAT 방화벽을 통해 공용 IP가 없는 VM이 Mesos에 효과적으로 노출되어 사용 가능한 컴퓨팅 자원 풀이 확장되었다.
• 여러 작은 작업을 제출하는 사용자를 위한 지능적인 작업 리디렉션을 지원하여 클러스터 혼잡도를 감소시키고 자원 활용도를 향상시켰다.
• Apache Mesos와 Airavata의 통합은 확장 가능한 스케줄링 정책을 갖춘 다중 클라우드 작업 스케줄링을 위한 확장 가능한 기반을 제공했다.
• 워크로드 패턴 기반의 비용 인지 또는 지연 시간 인지 스케줄링과 같은 향후 개선 사항을 지원했다.