[論文レビュー] The Effect of Communication and Synchronization on Amdahl Law in Multicore Systems

Leonid Yavits, Amir Morad+1 more|arXiv (Cornell University)|Jun 14, 2013

Parallel Computing and Optimization Techniques参考文献 22被引用数 6

ひとこと要約

この論文は、マルチコアシステムにおける通信および同期オーバーヘッドを考慮するためにアムダールの法則を拡張し、これらの要因が並列スループットを著しく低下させることを示している。たとえ並列化率（f）が高くても、通信や同期のオーバーヘッドが増加すると、性能が劣化し、多くのコアにスケーリングするよりも小規模コアでの実行や順次処理がより効率的になることがある。

ABSTRACT

This work analyses the effects of sequential-to-parallel synchronization and inter-core communication on multicore performance, speedup and scaling. A modification of Amdahl law is formulated, to reflect the finding that parallel speedup is lower than originally predicted, due to these effects. In applications with high inter-core communication requirements, the workload should be executed on a small number of cores, and applications of high sequential-to-parallel synchronization requirements may better be executed by the sequential core, even when f, the Amdahl fraction of parallelization, is very close to 1. To improve the scalability and performance speedup of a multicore, it is as important to address the synchronization and connectivity intensities of parallel algorithms as their parallelization factor.

研究の動機と目的

• 通信および同期オーバーヘッドがマルチコア性能およびスループットに与える影響を、従来のアムダールの法則を超えて分析すること。
• 標準的なアムダールの法則が現実のマルチコアスケーラビリティを予測する際の限界を特定すること。
• 同期および通信コストを主要なパフォーマンスボトルネックとして組み込んだ、修正された理論的モデルを提唱すること。
• 高頻度の同期や通信要件下での最適なコア数および実行戦略を特定することで、アプリケーション設計を支援すること。

提案手法

• コア間通信および同期オーバーヘッドを含む、アムダールの法則の修正版を導出すること。
• 通信強度および同期頻度が実行時間に与える影響を定量化するための新たなパラメータを導入すること。
• コア数、並列化率（f）、および通信・同期に起因する性能劣化の関係を分析すること。
• 理論的モデリングと解析を用いて、標準的なアムダールの法則と拡張モデルの両方におけるスループットの傾向を比較すること。
• 高f（1に近い）であっても、過剰な同期や通信により性能がスケーリングしないことが示されること。
• 並列化とオーバーヘッドのトレードオフを評価し、高オーバーヘッド環境下では小規模コアでの実行が大規模コアスケーリングを上回ることが結論づけられる。

実験結果

リサーチクエスチョン

• RQ1 アムダールの法則に基づくと、通信および同期オーバーヘッドはマルチコアシステムにおける予測スループットにどのように影響を与えるか？
• RQ2 高いコア間通信が発生する状況では、並列化率が高くてもマルチコアスケーリングが非効率になる条件は何か？
• RQ3 同期および通信コストが高くなると、順次実行がマルチコア上の並列実行を上回る可能性はあるか？
• RQ4 高同期要求または高通信強度を示すアプリケーションにおける最適なコア数は何か？
• RQ5 修正されたアムダールの法則モデルは、現実のマルチコアパフォーマンス予測をどのように改善するか？

主な発見

• 修正されたアムダールの法則は、通信および同期オーバーヘッドが、並列化率fが1に近い場合ですらスループットを著しく低下させることを示している。
• コア間通信が強いアプリケーションは、コア数の増加に伴い通信コストが上昇するため、少数のコアで実行するのが最適である。
• 高い同期要件がある場合、マルチコア上で並列実行するよりも順次実行がより効率的になることがある。
• 並列アルゴリズムのパフォーマンスは、並列化要因だけでなく、同期および接続強度にも制限を受ける。
• このモデルは、スケーラビリティが単に順次コード部分に起因するのではなく、通信および同期オーバーヘッドによって制限されることを示している。
• 研究は、パフォーマンスを最大化するには並列化の最適化と同様に、通信および同期の最適化が不可欠であると結論づけている。