[論文レビュー] A figure of merit for describing the performance of scaling of parallelization

János Végh, Péter Molnár+1 more|arXiv (Cornell University)|Jun 8, 2016

Parallel Computing and Optimization Techniques参考文献 9被引用数 4

ひとこと要約

本稿では、測定された実行時間とスレッド数から導かれた実験的指標 αeff を提案し、並列化のパフォーマンスを定量化する。アムダールの法則を逆転させ、保守的オーバーヘッドと負荷不均衡を含めた有効な逐次的分担に再解釈することで、αeff は現実世界の並列化効率を捉え、マルチコアシステムにおけるコンパイラ、アーキテクチャ、通信戦略の客観的比較を可能にする。

ABSTRACT

With the spread of multi- and many-core processors more and more typical task is to re-implement some source code written originally for a single processor to run on more than one cores. Since it is a serious investment, it is important to decide how much efforts pays off, and whether the resulting implementation has as good performability as it could be. The Amdahl's law provides some theoretical upper limits for the performance gain reachable through parallelizing the code, but it needs the detailed architectural knowledge of the program code, does not consider the housekeeping activity needed for parallelization and cannot tell how the actual stage of parallelization implementation performs. The present paper suggests a quantitative measure for that goal. This figure of merit is derived experimentally, from measured running time, and number of threads/cores. It can be used to quantify the used parallelization technology, the connection between the computing units, the acceleration technology under the given conditions, communication method within SoC, or the performance of the software team/compiler.

研究の動機と目的

• 保守的オーバーヘッドと非一様な負荷分布が無視されるため、アムダールの法則が現実の並列化パフォーマンスを測定する際に抱える限界を解消すること。
• 理論的スケールアップを超える、実際の並列化効率を反映する定量的で実験的に導かれた指標を開発すること。
• コンパイラ、ハードウェアアーキテクチャ、通信戦略を含む並列化技術の客観的比較を可能にすること。
• 同期、負荷不均衡、プロセッサ間通信といった実用的要因を考慮したスケーラブルなパフォーマンス指標を提供すること。

提案手法

• 測定された実行時間とスレッド数を用いてアムダールの法則を逆転させ、非並列化作業をすべて有効な逐次的分担とみなして αeff を導出する。
• 従来のアムダールの α を αeff = (k / (k - 1)) * (S⁻¹ - 1) / S⁻¹ として再解釈し、コアあたりのスケールアップの逆数 S⁻¹ を用いる。
• マルチコアおよびSoCシステムにおけるLinpackベンチマークとPSOベースの最適化から得た実測データを用いて αeff を計算する。
• 異なる通信戦略（リング、近隣、ブロードキャスト）とハードウェアプラットフォームの比較にこの指標を適用する。
• （1 − αeff）が同期と負荷不均衡の影響を含めた有効な逐次的分担をどのように反映するかを分析する。
• 多様なシステムで指標を検証し、コア数の増加に伴う観測されたパフォーマンス劣化と一貫した相関関係を示した。

実験結果

リサーチクエスチョン

• RQ1 理論的スケールアップ予測を超えて、並列化パフォーマンスをどのように定量的に測定できるか？
• RQ2 保守的オーバーヘッドと負荷不均衡は、現実の並列化効率にどの程度影響を与えるか？
• RQ3 αeff は、異なるコンパイラ、アーキテクチャ、通信戦略の比較に信頼性があり、実験的に導かれた指標として機能するか？
• RQ4 異なるハードウェアおよびソフトウェア構成において、コア数の増加に伴い有効な並列化分率 αeff はどのように変化するか？
• RQ5 通信戦略は、並列アプリケーションにおける有効な逐次的分担（1 − αeff）を決定づける役割を果たすか？

主な発見

• αeff は、保守的オーバーヘッドと負荷不均衡を考慮した、実験的に導かれた頑健な指標であり、並列化の実際のパフォーマンスを定量化する。
• 通信オーバーヘッドを最小限に抑えた場合、(1 − αeff) は異なるコア数においても比較的一定であり、安定した有効な逐次的分担を示している。
• Linpackベンチマークにおいて、(1 − αeff) はプロセッサ数の変化に関わらず測定誤差の範囲内に収まり、並列化効率の一貫性を示している。
• PSOベースの最適化では、ブロードキャスト通信戦略がコア数の増加に伴い (1 − αeff) を増加させ、逐次的オーバーヘッドの増大を示しているのに対し、リングおよび近隣戦略では増加が最小限に抑えられている。
• この指標により、コア数の増加に伴いコアあたりのスケールアップが低下することを正確に捉えられ、(1 − αeff) がパフォーマンス指標としての有効性を裏付けている。
• αeff は並列化技術の客観的比較を可能にし、実際の並列化の活用度において、コンパイラやアーキテクチャの差が顕著に現れることを明らかにした。