[논문 리뷰] High-throughput Execution of Hierarchical Analysis Pipelines on Hybrid Cluster Platforms

George Teodoro, Tony Pan외 4명|arXiv (Cornell University)|2012. 09. 14.

Distributed and Parallel Computing Systems참고 문헌 34인용 수 3

한 줄 요약

이 논문은 히에라르키컬 데이터 분석 파이프라인의 고처리량 실행을 가능하게 하는 하이브리드 CPU-GPU 런타임 미들웨어를 제안한다. 이는 백오프터스크스와 굵은 흐름 실행 모델을 결합하여 클러스터 플랫폼에서 수행된다. 성능 인지 스케줄링, 데이터 로컬리티 최적화, 비동기 데이터 전송을 통해 100개 노드에서 초당 150장의 이미지 타일을 처리하며, 단일 또는 더 거친 그레인 접근 방식보다 뚜렷이 뛰어난 성능을 달성한다.

ABSTRACT

We propose, implement, and experimentally evaluate a runtime middleware to support high-throughput execution on hybrid cluster machines of large-scale analysis applications. A hybrid cluster machine consists of computation nodes which have multiple CPUs and general purpose graphics processing units (GPUs). Our work targets scientific analysis applications in which datasets are processed in application-specific data chunks, and the processing of a data chunk is expressed as a hierarchical pipeline of operations. The proposed middleware system combines a bag-of-tasks style execution with coarse-grain dataflow execution. Data chunks and associated data processing pipelines are scheduled across cluster nodes using a demand driven approach, while within a node operations in a given pipeline instance are scheduled across CPUs and GPUs. The runtime system implements several optimizations, including performance aware task scheduling, architecture aware process placement, data locality conscious task assignment, and data prefetching and asynchronous data copy, to maximize utilization of the aggregate computing power of CPUs and GPUs and minimize data copy overheads. The application and performance benefits of the runtime middleware are demonstrated using an image analysis application, which is employed in a brain cancer study, on a state-of-the-art hybrid cluster in which each node has two 6-core CPUs and three GPUs. Our results show that implementing and scheduling application data processing as a set of fine-grain operations provide more opportunities for runtime optimizations and attain better performance than a coarser-grain, monolithic implementation. The proposed runtime system can achieve high-throughput processing of large datasets - we were able to process an image dataset consisting of 36,848 4Kx4K-pixel image tiles at about 150 tiles/second rate on 100 nodes.

연구 동기 및 목표

• 대규모 과학적 데이터 분석을 위한 하이브리드 CPU-GPU 클러스터 시스템을 효율적으로 활용하는 데 도전하는 데 목적을 두며.
• 이종 하드웨어를 통해 세분화된 계층적 파이프라인 실행을 가능하게 함으로써 데이터 집약적 응용 프로그램의 성능과 자원 활용도를 향상시키는 데 목적을 두며.
• 지능적인 스케줄링 및 데이터 관리 기법을 통해 데이터 이동을 최소화하고 GPU 활용도를 극대화하는 데 목적을 두며.
• 현대의 하이브리드 클러스터 아키텍처를 활용하여 테라바이트 규모의 생물의학적 이미지 데이터 세트를 고처리량으로 처리할 수 있는 가능성을 입증하는 데 목적을 두며.
• 향후 복잡한 분석 파이프라인의 단계에서 MapReduce 스타일 처리를 지원하도록 확장하는 데 목적을 두며.

제안 방법

• 미들웨어는 하이브리드 클러스터 노드에 걸쳐 데이터 조각과 파이프라인을 스케줄링하기 위해 백오프터스크스와 굵은 흐름 실행 모델을 결합한다.
• 수요 기반 스케줄링 전략을 사용하여 자원 가용성과 성능 특성에 따라 동적으로 작업을 할당한다.
• 성능 인지 작업 스케줄링은 예측된 속도 향상에 기반해 최적의 CPU 또는 GPU 기능 버전을 선택함으로써 런타임 오버헤드를 줄인다.
• 아키텍처 인지 프로세스 배치는 각 노드 내의 메모리 및 계산 용량을 고려하여 작업을 CPU와 GPU에 효율적으로 매핑한다.
• 데이터 로컬리티를 고려한 작업 할당은 데이터와 계산을 함께 위치시킴으로써 데이터 전송 비용을 최소화한다.
• 비동기 데이터 복사 및 프리패칭은 유휴 시간을 줄이고 계산과 데이터 이동 간의 오버랩을 향상시킨다.

실험 결과

연구 질문

• RQ1 하이브리드 런타임 미들웨어는 하이브리드 CPU-GPU 클러스터 플랫폼에서 계층적 분석 파이프라인의 고처리량 실행을 달성할 수 있는가?
• RQ2 세분화된 파이프라인 분해 방식은 단일 구조 또는 더 거친 그레인 구현 대비 성능과 스케줄링 유연성 측면에서 어떻게 비교되는가?
• RQ3 성능 인지 스케줄링과 데이터 로컬리티 최적화는 GPU 활용도 향상과 I/O 병목 현상 감소에 얼마나 기여하는가?
• RQ4 대규모 이미지 분석 워크로드에 대해 100개의 하이브리드 클러스터 노드에서 미들웨어의 확장성은 어떠한가?
• RQ5 비동기 데이터 전송과 프리패칭은 데이터 이동 지연을 얼마나 효과적으로 숨길 수 있는가?

주요 결과

• 36,848장의 4K×4K 이미지 타일을 포함한 글리오블라스토마 연구에서, 100개 노드에서 초당 150장의 이미지 타일을 처리하는 성능을 달성하였다.
• 100개 노드에서 77%의 효율성을 확보하였으며, FCFS 기반 대비 1.3배의 속도 향상을 기록하였다. 주로 고병렬성 환경에서 I/O 경쟁으로 인해 제한을 받았다.
• 기능 버전을 고려한 성능 인지 스케줄링은 속도 향상 예측이 불완전하더라도, 비효율적인 CPU-GPU 작업 할당을 최소화함으로써 실행 시간을 단축시켰다.
• 세분화된 파이프라인 분해는 더 나은 스케줄링 및 최적화 기회를 제공하여 단일 구조 구현 대비 뚜렷이 뛰어난 성능을 달성하였다.
• I/O 오버헤드를 제외한 경우 이론적 효율은 93%에 도달하였으며, 이는 핵심 스케줄링 및 실행 최적화 기법이 매우 효과적임을 시사한다.
• 테라바이트 규모의 데이터 세트를 4분 이내로 처리할 수 있도록 함으로써, 과학적 질문 탐색과 민감도 분석을 위한 실용성을 입증하였다.