[論文レビュー] To Parallelize or Not to Parallelize, Speed Up Issue

Alaa Elnashar|arXiv (Cornell University)|Mar 29, 2011

Parallel Computing and Optimization Techniques参考文献 10被引用数 5

ひとこと要約

本論文は、MPIベースの並列アプリケーションにおける並列化のオーバーヘッドと性能向上のトレードオフを分析することにより、スループット向上を予測する実験的手法を提案する。並列化が有益であるタイミングを評価し、ハイパフォーマンスコンピューティング環境における無駄なリソースコストを回避する意思決定フレームワークを提供する。

ABSTRACT

Running parallel applications requires special and expensive processing resources to obtain the required results within a reasonable time. Before parallelizing serial applications, some analysis is recommended to be carried out to decide whether it will benefit from parallelization or not. In this paper we discuss the issue of speed up gained from parallelization using Message Passing Interface (MPI) to compromise between the overhead of parallelization cost and the gained parallel speed up. We also propose an experimental method to predict the speed up of MPI applications.

研究の動機と目的

• 並列処理リソースの高コストを鑑みた場合、シリアライズドアプリケーションを並列化すべきかどうかを判断する課題に対処すること。
• MPIベースのシステムにおける並列化のオーバーヘッドと潜在的なパフォーマンス向上のトレードオフを分析すること。
• 完全な並列化に着手する前に、スループット向上を予測する実用的で実験的な手法を開発すること。
• ハイパフォーマンスコンピューティングにおける非生産的な並列化作業を回避する支援となる意思決定フレームワークを提供すること。
• 予測分析に基づく意思決定を可能にすることで、ソフトウェア工学の効率を向上させること。

提案手法

• 実行時間とリソース使用量を測定するために、アプリケーションのシリアライズド版と並列化版の両方を実験的にプロファイリングする。
• 分散システム全体でのパフォーマンス評価のため、並列化モデルとしてメッセージパス方式（MPI）を採用する。
• 測定された実行時間に対して回帰分析を適用し、問題サイズおよびプロセッサ数の関数としてスループット向上をモデル化する。
• 実際の並列化を実装する前に対象スループットを推定する予測型ベンチマーキング手法を導入する。
• 通信オーバーヘッドと負荷バランスの両方を、スループット予測モデルの主要要因として考慮する。
• 実際のHPCワークロードでの実行結果と照らし合わせて予測を検証し、モデルの精度を高める。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、シリアライズドアプリケーションの並列化が測定可能なパフォーマンス向上をもたらすのか？
• RQ2 MPIベースの並列化のオーバーヘッドを、期待されるパフォーマンス向上と定量的にどのようにバランスさせるか？
• RQ3 実際に並列化を実施する前に対象スループットを正確に予測できる実験的手法は何か？
• RQ4 並列化の意思決定に最も顕著に影響を与える要因は何か？
• RQ5 予測モデルにより、パフォーマンス向上が得られない並列化への投資リスクを低減できるか？

主な発見

• 提案手法は、実験的プロファイリングと回帰モデリングを用いて、MPIアプリケーションにおけるスループット向上を正確に予測可能である。
• 多くのワークロードにおいて、8プロセッサ未満で使用した場合、並列化のオーバーヘッドがパフォーマンス向上を上回る。
• 適切にプロセッサ数に比例して問題サイズがスケーリングされる場合に、スループット向上が最大に達する。これは、強いデータサイズ依存性を示している。
• 不規則的または動的なワークロードを有するアプリケーションは、予測性が低く、逆にスループットが低下するリスクが高くなる。
• モデルは、非有益な並列化状況を的確に同定でき、無駄な計算リソースの消費を削減した。
• 実験的手法により、本格的な展開の必要性が低下し、信頼性の高い事前評価が可能になった。