[논문 리뷰] Pilot-Abstraction: A Valid Abstraction for Data-Intensive Applications on HPC, Hadoop and Cloud Infrastructures?

André Luckow, Pradeep Mantha외 1명|arXiv (Cornell University)|2015. 01. 21.

Cloud Computing and Resource Management참고 문헌 30인용 수 3

한 줄 요약

이 논문은 HPC, Hadoop, 클라우드 인프라스트럭처 간의 자원 관리를 통합하기 위해 Pilot-Abstraction을 확장하는 것을 제안한다. 이는 데이터 집약적 워크플로우의 원활한 실행을 가능하게 하며, YARN과 HDFS를 Pilot-Abstraction과 통합하고 Spark와 같은 인메모리 백엔드를 사용하는 Pilot-Data Memory를 도입함으로써 반복적 KMeans 클러스터링에서 파일 기반 I/O 대비 최대 212배의 성능 향상을 달성한다.

ABSTRACT

HPC environments have traditionally been designed to meet the compute demand of scientific applications and data has only been a second order concern. With science moving toward data-driven discoveries relying more on correlations in data to form scientific hypotheses, the limitations of HPC approaches become apparent: Architectural paradigms such as the separation of storage and compute are not optimal for I/O intensive workloads (e.g. for data preparation, transformation and SQL). While there are many powerful computational and analytical libraries available on HPC (e.g. for scalable linear algebra), they generally lack the usability and variety of analytical libraries found in other environments (e.g. the Apache Hadoop ecosystem). Further, there is a lack of abstractions that unify access to increasingly heterogeneous infrastructure (HPC, Hadoop, clouds) and allow reasoning about performance trade-offs in this complex environment. At the same time, the Hadoop ecosystem is evolving rapidly and has established itself as de-facto standard for data-intensive workloads in industry and is increasingly used to tackle scientific problems. In this paper, we explore paths to interoperability between Hadoop and HPC, examine the differences and challenges, such as the different architectural paradigms and abstractions, and investigate ways to address them. We propose the extension of the Pilot-Abstraction to Hadoop to serve as interoperability layer for allocating and managing resources across different infrastructures. Further, in-memory capabilities have been deployed to enhance the performance of large-scale data analytics (e.g. iterative algorithms) for which the ability to re-use data across iterations is critical. As memory naturally fits in with the Pilot concept of retaining resources for a set of tasks, we propose the extension of the Pilot-Abstraction to in-memory resources.

연구 동기 및 목표

• HPC, Hadoop, 클라우드 인프라스트럭처 간에 점점 증가하는 이질적이고 데이터 집약적인 과학적 워크플로우를 관리하는 데 발생하는 도전 과제를 해결한다.
• 스토리지와 컴퓨팅이 분리된 전통적인 HPC 아키텍처의 한계—특히 I/O 집약적인 워크로드를 저해하는 요소—를 극복한다.
• 성능 인식 가능한 워크로드 매핑과 자원 관리를 지원하는 공통의 추상화 계층을 통해 다양한 인프라스트럭처에 대한 통합적 액세스를 가능하게 한다.
• HPC와 Hadoop 생태계 간의 상호운용성을 향상시키기 위해 Pilot-Abstraction을 확장하여 YARN, HDFS, 인메모리 데이터 처리를 지원한다.
• 반복적 데이터 분석의 성능을 향상시키기 위해 작업 간에 공유되고 지속 가능한 데이터를 위한 플러그랩리 인메모리 백엔드인 Pilot-Data Memory를 도입한다.

제안 방법

• Pilot-Abstraction을 확장하여 Hadoop YARN과 HDFS 자원을 관리함으로써 데이터 집약적 워크로드에 대한 HPC 스타일의 자원 할당을 가능하게 한다.
• HPC 클러스터에 YARN을 배포할 수 있도록 Pilot-Hadoop를 구현함으로써 Hadoop 프레임워크가 스탬피드와 같은 컴퓨팅 중심의 HPC 자원에서 실행될 수 있도록 한다.
• 다중 작업 간에 액세스 가능한 분산 인메모리 데이터 저장소를 위한 통합 추상화인 Pilot-Data Memory를 도입한다.
• 모듈러 어댑터 인터페이스를 통해 플러그랩리 인메모리 백엔드(예: Redis, Spark)를 지원함으로써 유연한 배포와 성능 튜닝을 가능하게 한다.
• 워크플로우 오chestration을 위해 Pilot-Abstraction을 BigJob과 통합함으로써 HPC와 ABDS(Apache Big Data Stack) 구성 요소를 조합한 종단 간 데이터 파이프라인을 지원한다.
• HPC(스탬피드, 고든)와 클라우드 인프라스트럭처에서의 벤치마킹을 통해 MapReduce 및 KMeans 워크로드에 대해 파일 기반 및 인메모리 백엔드 간의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 Pilot-Abstraction은 HPC와 데이터 집약적 계산 환경 간의 상호운용성을 위해 Hadoop YARN과 HDFS를 효과적으로 지원하도록 확장될 수 있는가?
• RQ2 Pilot-Data Memory를 통한 인메모리 데이터 처리 성능는 반복적 데이터 분석 워크로드에서 기존의 파일 기반 I/O 대비 어떻게 비교되는가?
• RQ3 데이터 집약적 워크플로우에서 Spark 기반 인메모리 백엔드는 Redis 또는 파일 기반 스토리지 대비 어떤 성능 향상을 달성하는가?
• RQ4 Pilot-Abstraction은 복잡한 다단계 데이터 워크플로우를 위한 이질적 인프라스트럭처에 대해 통합적이고 확장 가능한 자원 관리를 얼마나 잘 지원하는가?
• RQ5 Pilot-Abstraction은 HPC와 ABDS 프레임워크를 하나의 통합된 데이터 파이프라인 내에서 어떻게 조합하는가?

주요 결과

• Pilot-Abstraction은 스탬피드와 고든에서의 실험을 통해 HPC 자원에 YARN과 HDFS를 배포함으로써 HPC와 Hadoop 생태계 간의 상호운용성을 성공적으로 실현하였다.
• Pilot-Data Memory는 파일 기반 Pilot-Data 백엔드 대비 KMeans 클러스터링에서 최대 212배의 성능 향상을 측정하여 반복적 분석에 있어 뚜렷한 성능 향상을 입증하였다.
• Spark 기반 인메모리 백엔드는 Redis 대비 최대 19배 빠른 성능 향상을 보이며, 특히 Spark의 네이티브 분산 아키텍처 덕분에 스케일아웃 효율성이 뛰어나다.
• Redis 백엔드는 비분산 배포 방식으로 인해 최대 11배의 성능 향상에 그쳤으며, 이는 네이티브 분산 인메모리 시스템의 중요성을 강조한다.
• Pilot-Abstraction은 HPC와 ABDS 프레임워크 간의 데이터 집약적 워크플로우를 효율적으로 조합할 수 있도록 하여 데이터 수집부터 고급 분석에 이르기까지의 단계를 지원한다.
• 프레임워크의 플러그랩리 백엔드 설계 덕분에 Docker 기반 컨테이너와 같은 신규 기술과의 통합이 가능하여 향후 인프라스트럭처 변화에 대비한 확장성을 확보하였다.