[論文レビュー] Analysis of Randomized Work Stealing with False Sharing

Richard Cole, Vijaya Ramachandran|arXiv (Cornell University)|Mar 21, 2011

Optimization and Search Problems参考文献 9被引用数 4

ひとこと要約

この論文は、キャッシュコherエンシープロトコルに起因するパフォーマンスボトルネックであるフェイクシェアイングを焦点に、並列計算におけるランダム化ワーキーステaling（RWS）を分析している。階層的ツリー・アルゴリズムクラスとそのサブクラスであるHBPアルゴリズムを導入し、現実的な仮定の下で、キャッシュミスの上限を改善した。その結果、アルゴリズムがプロセッサ間の競合を最小限に抑える構造を持つ場合、RWSはフェイクシェアイングが存在してもほぼ最適なパフォーマンスを達成できることを示している。

ABSTRACT

This paper analyzes the cache miss cost of algorithms when scheduled using randomized work stealing (RWS) in a parallel environment, taking into account the effects of false sharing. First, prior analyses (due to Acar et al.) are extended to incorporate false sharing. However, to control the possible delays due to false sharing, some restrictions on the algorithms seem necessary. Accordingly, the class of Hierarchical Tree algorithms is introduced and their performance analyzed. In addition, the paper analyzes the performance of a subclass of the Hierarchical Tree Algorithms, called HBP algorithms, when scheduled using RWS; improved complexity bounds are obtained for this subclass. This class was introduced in a companion paper with efficient resource oblivious computation in mind. Finally, we note that in a scenario in which there is no false sharing the results in this paper match prior bounds for cache misses but with reduced assumptions, and in particular with no need for a bounding concave function for the cost of cache misses as in prior work by Frigo and Strumpen. This allows non-trivial cache miss bounds in this case to be obtained for a larger class of algorithms.

研究の動機と目的

• ランダム化ワーキーステーリング（RWS）における並列アルゴリズムのキャッシュミスコストに及ぼすフェイクシェアイングの影響を分析すること。
• RWSスケジューリングにおけるフェイクシェアイングとそのパフォーマンスコストを最小限に抑えるアルゴリズム的構造を同定すること。
• 従来のキャッシュ複雑度の上限を、凹関数の上限を必要としないように、フェイクシェアイングの影響を含めて拡張すること。
• 行列乗算、FFT、ソーティングなどのHBPアルゴリズムについて、RWSスケジューリング下でのよりタイトで実用的な複雑度上限を提供すること。
• フェイクシェアイングを構造的制約によって補償することで、RWSがより広いクラスのアルゴリズムでほぼ最適なパフォーマンスを達成できることを示すこと。

提案手法

• プロセッサ間の書き込み競合を最小限に抑えることでフェイクシェアイングを低減する計算の構造を提供する、階層的ツリー・アルゴリズムクラスを導入する。
• そのサブクラスとしてHBP（階層的にバランスの取れた並列）アルゴリズムを分析し、スティールとフェイクシェアイングに起因するブロックミスを両方考慮する洗練されたモデルを用いる。
• 均一なランダムなスティール選択の下で確率的解析を用いて、成功したスティール数 $ S $ の上限を導出する。高確率で $ S = O(p(\frac{b+s}{s}\text{depth} + \frac{b}{s}B\text{depth}))(1+a) $ が成り立つことを示す。
• キャッシュミスコストを $ S $ の関数としてモデル化し、順次実行時のキャッシュミスとフェイクシェアイングに起因する追加のブロックミスを組み込む。ブロックミスコストは $ O(S \times B) $ で有界である。
• 行列乗算、FFT、ソーティング、リストランクイングといった特定のアルゴリズムに分析を適用し、作業量 $ W $、順次キャッシュミス数 $ Q $、深さ $ T_{\text{infty}} $ を導出し、それらをスティール数と組み合わせる。
• HBPアルゴリズムに対しては $ C(S,n) = O(S) $、ソーティングに対しては $ C(S,n) = O(2^j n / (M^{1/2^j}) \times \text{log} n / \text{log} M) $ を用いて、タイトなキャッシュミスとブロックミスコストの組み合わせを導出する。

実験結果

リサーチクエスチョン

• RQ1 並列アルゴリズムにおけるランダム化ワーキーステーリング（RWS）において、フェイクシェアイングはキャッシュミスコストにどのように影響するか？
• RQ2 アルゴリズムのどのような構造的性質がフェイクシェアイングを最小限に抑え、RWSのパフォーマンスを向上させられるか？
• RQ3 キャッシュ複雑度関数に凹関数の上界を要求しないで、RWSのためのよりタイトなキャッシュミス上限を導出できるか？
• RQ4 HBPアルゴリズムにおけるRWS下でのキャッシュミスとブロックミスの合計コストは何か？また、どのような条件下で順次実行のパフォーマンスと一致するか？
• RQ5 フェイクシェアイングが存在する場合、成功したスティール数はプロセッサ数とアルゴリズムの深さに対してどのようにスケーリングするか？

主な発見

• 深さ $ \log^2 n $ のアルゴリズム（例：行列乗算）において、成功したスティール数は高確率で $ O(p \log n [\log n + B]) $ であり、$ p(\log^2 n + B \log n) \leq n^3 / M^{3/2} $ かつ $ B^2 \leq M $ の条件下で最適である。
• HBPアルゴリズム（行列転置、FFTなど）では、$ pB(\log n + B) \leq n $ の条件下で、キャッシュミスとブロックミスの合計コストが順次キャッシュミスコストと一致する。ただし $ s = \Theta(b) $ かつ $ a = O(1) $ と仮定する。
• ソーティングアルゴリズムでは、$ pB \log M (\log \log n + B / \log B) \max\{B, M^{1/2^j}\} \leq n $ かつ $ j = O(1) $ の条件下で、合計コストが順次パフォーマンスと一致する。同じ仮定を採用する。
• 従来の研究と比較して、キャッシュ複雑度関数に凹関数の上界を要求しないようにしたため、より広いクラスのアルゴリズムに対して非自明な上限を導出可能になった。
• リストランキングアルゴリズムはソーティングを $ O(\log n) $ 回繰り返すが、問題全体のサイズが $ O(n \log n) $ であるため、その上限はソーティングの $ O\left(\log n\right) $ 倍以内に抑えられる。
• 連結成分アルゴリズムはリストランキングを $ O(\log n) $ 回繰り返すが、各反復で問題サイズが同一であるため、リストランキングの上限を引き継ぐ。