[論文レビュー] A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models

Kato Mivule, Benjamin Harvey+2 more|arXiv (Cornell University)|Oct 16, 2014

Cloud Computing and Resource Management参考文献 25被引用数 5

ひとこと要約

本論文は、HPC（ハイパフォーマンスコンピューティング）およびビッグデータワークロードにおける特徴、用途、トレードオフに焦点を当て、CUDA、MapReduce、Pthreadsの3つの並列コンピューティングモデルを比較したレビューを提供している。各モデルがCPUおよびGPU上でマルチスレッド並列処理をどのように実現するかを分析し、ビッグデータアプリケーションの実装を迅速化するための意思決定を支援する包括的なリファレンスを実務家に提供する。

ABSTRACT

The advent of high performance computing (HPC) and graphics processing units (GPU), present an enormous computation resource for Large data transactions (big data) that require parallel processing for robust and prompt data analysis. While a number of HPC frameworks have been proposed, parallel programming models present a number of challenges, for instance, how to fully utilize features in the different programming models to implement and manage parallelism via multi-threading in both CPUs and GPUs. In this paper, we take an overview of three parallel programming models, CUDA, MapReduce, and Pthreads. The goal is to explore literature on the subject and provide a high level view of the features presented in the programming models to assist high performance users with a concise understanding of parallel programming concepts and thus faster implementation of big data projects using high performance computing.

研究の動機と目的

• CUDA、MapReduce、Pthreadsを並列プログラミングモデルとして、高水準な比較的概要を提供すること。
• HPCユーザーが、特徴と能力に基づいてビッグデータワークロードに適したモデルを選択するのを支援すること。
• 3つのモデルに関する文献を調査し、CPUおよびGPU上でマルチスレッド並列処理を管理する役割を明確にすること。
• 各モデルの主要な特徴と設計原則を要約することで、ビッグデータプロジェクトの実装を迅速化すること。

提案手法

• CUDA、MapReduce、Pthreadsプログラミングモデルに関する既存の文献を体系的にレビューすること。
• 各モデルのアーキテクチャ的特徴、スレッド管理、メモリモデル、対象ハードウェア（CPUおよびGPU）を分析すること。
• 18枚の図を用いて、モデルの特徴、データフロー、実行モデルを視覚的に比較すること。
• モデル間の理解を容易にするために、高水準な抽象化とプログラミングパラダイムに焦点を当てる。
• スケーラビリティ、実装のしやすさ、ビッグデータシナリオにおけるパフォーマンスといった実用的考慮事項に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 CUDA、MapReduce、Pthreadsは、HPC環境における並列処理の管理において、どのように異なるアプローチをとるか？
• RQ2 各モデルがビッグデータ処理ワークロードをサポートする上で、主な強みと限界は何か？
• RQ3 これらのモデルは、CPUおよびGPUアーキテクチャをどのように活用して効率的な並列実行を実現するか？
• RQ4 どのようなシナリオで、1つのモデルが他のモデルよりもビッグデータアプリケーションに適しているか？

主な発見

• CUDAは、明示的なスレッド階層とメモリ管理を備えた、GPU上での細粒度なデータ並列プログラミングを提供する。
• MapReduceは、高水準な抽象化を用いてスケーラブルでフェイルセーフなバッチ処理を可能にし、データ集約型ワークロードに最適である。
• Pthreadsは、CPU上で低レベルでポータブルなスレッド管理を提供し、細かな制御が可能だが、手動での同期処理とエラー管理が求められる。
• 各モデルは、抽象化レベル、パフォーマンス、ポータビリティ、開発の複雑さという点で、明確なトレードオフを示している。
• モデルの選択は、ビッグデータアプリケーションにおける開発時間、パフォーマンス、システムリソースの使用に顕著な影響を与える。