[논문 리뷰] A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models

Kato Mivule, Benjamin Harvey외 2명|arXiv (Cornell University)|2014. 10. 16.

Cloud Computing and Resource Management참고 문헌 25인용 수 5

한 줄 요약

이 논문은 고성능 계산(HPC) 및 빅데이터 워크로드에서의 기능, 용도 및 성능 차이를 중심으로 CUDA, MapReduce, Pthreads 세 가지 병렬 컴퓨팅 모델을 비교한 리뷰를 제공한다. 각 모델이 CPU 및 GPU에서 다중 스레드 병렬 처리를 어떻게 지원하는지 분석하여, 빅데이터 애플리케이션의 구현을 보다 빠르게 진행하기 위해 모델 선택에 대한 정보 기반 의사결정을 지원한다.

ABSTRACT

The advent of high performance computing (HPC) and graphics processing units (GPU), present an enormous computation resource for Large data transactions (big data) that require parallel processing for robust and prompt data analysis. While a number of HPC frameworks have been proposed, parallel programming models present a number of challenges, for instance, how to fully utilize features in the different programming models to implement and manage parallelism via multi-threading in both CPUs and GPUs. In this paper, we take an overview of three parallel programming models, CUDA, MapReduce, and Pthreads. The goal is to explore literature on the subject and provide a high level view of the features presented in the programming models to assist high performance users with a concise understanding of parallel programming concepts and thus faster implementation of big data projects using high performance computing.

연구 동기 및 목표

• CUDA, MapReduce, Pthreads를 병렬 프로그래밍 모델로 하위 수준의 비교 개요를 제공한다.
• 기능과 기능을 바탕으로 빅데이터 워크로드에 적합한 모델을 선택하는 데 고성능 계산 사용자를 지원한다.
• 세 모델에 관한 문헌을 탐색하여 CPU 및 GPU에서 다중 스레드 병렬 처리를 관리하는 데서의 역할을 명확히 한다.
• 각 모델의 핵심 특성과 설계 원칙을 요약하여 빅데이터 프로젝트의 빠른 구현을 지원한다.

제안 방법

• CUDA, MapReduce, Pthreads 프로그래밍 모델에 관한 기존 문헌에 대한 체계적 리뷰.
• 각 모델의 아키텍처 특성, 스레드 관리, 메모리 모델 및 대상 하드웨어(CPU 및 GPU) 분석.
• 모델 특성, 데이터 흐름 및 실행 모델을 시각적으로 비교하기 위해 18개의 그림 활용.
• 모델 간 이해를 가능하게 하기 위해 고수준 추상화 및 프로그래밍 패러다임에 중점을 둔다.
• 확장성, 구현 용이성, 빅데이터 시나리오에서의 성능 등의 실용적 고려사항에 중점을 둔다.

실험 결과

연구 질문

• RQ1 CUDA, MapReduce, Pthreads는 HPC 환경에서 병렬 처리를 다루는 방식에서 어떻게 다릅니까?
• RQ2 각 모델이 빅데이터 처리 워크로드를 지원하는 데 있어 핵심적인 강점과 한계는 무엇입니까?
• RQ3 이들 모델은 CPU 및 GPU 아키텍처를 어떻게 활용하여 효율적인 병렬 실행을 달성합니까?
• RQ4 빅데이터 애플리케이션에서 어떤 시나리오에서 한 모델이 다른 모델보다 더 적합합니까?

주요 결과

• CUDA는 명시적 스레드 계층과 메모리 관리를 통해 GPU에서 세밀한 데이터 병렬 프로그래밍을 제공한다.
• MapReduce는 고수준 추상화를 통해 확장 가능하고 장애에 강건한 대량 데이터 처리를 가능하게 하여 데이터 집약적 워크로드에 이상적이다.
• Pthreads는 CPU에서 저수준의 포트폴리오 스레드 관리를 지원하며, 세밀한 제어를 가능하게 하지만 수동 동기화 및 오류 처리가 필요하다.
• 각 모델는 추상화 수준, 성능, 이식성, 개발 복잡성 측면에서 상이한 성능 차이를 보인다.
• 모델 선택은 빅데이터 애플리케이션에서 개발 시간, 성능 및 시스템 자원 활용도에 큰 영향을 미친다.