[論文レビュー] Bulk-synchronous pseudo-streaming algorithms for many-core accelerators

Jan‐Willem Buurlage, Tom Bannink+1 more|arXiv (Cornell University)|Aug 25, 2016

Parallel Computing and Optimization Techniques参考文献 14被引用数 13

ひとこと要約

本稿では、限られたローカルメモリを備えた多くのコアを有するコプロセッサ向けに最適化された一般化されたBSPモデル、Bulk-Synchronous Pseudo-Streaming (BSPS) を提案する。古典的なBSPのコスト関数を拡張し、実行性能を予測し、ボトルネックを同定する。パラレルラ板上でキャンンのアルゴリズムを実装した結果、実行時間の正確な予測と、ハイパーステップ解析による有効な負荷分散が得られた。

ABSTRACT

The bulk-synchronous parallel (BSP) model provides a framework for writing parallel programs with predictable performance. In this paper we extend the BSP model to support what we will call pseudo-streaming algorithms for accelerators. We also generalize the BSP cost function to these algorithms, so that it is possible to predict the running time for programs targeting many-core accelerators and to identify possible bottlenecks. Several examples of algorithms within this new framework will be explored. We extend the BSPlib standard by proposing a small number of new BSP primitives to create and use streams in a portable way. We will introduce a software library called Epiphany BSP that implements these ideas for the Parallella development board. Finally we will give experimental results for pseudo-streaming algorithms on the Parallella platform.

研究の動機と目的

• 限られたローカルメモリを備えた多数コアのコプロセッサにおけるBSPアルゴリズムの実行性能予測のギャップを解消すること。
• 現代の多数コアアクセラレータに内在するストリーミングに類似した制約を扱えるように、古典的BSPモデルを拡張すること。
• これらのシステムをターゲットとする並列プログラムにおける実行時間の正確な予測とボトルネック同定を可能にすること。
• BSPlibへの最小限の拡張と新規ソフトウェアライブラリEpiphany BSPの導入により、ポータビリティと標準化を確保すること。
• Parallellaプラットフォーム上での実世界の実装と実験的測定を通じて、フレームワークの妥当性を検証すること。

提案手法

• BSPモデルの拡張として、ストリーミング制約をスーパーステップ抽象化に統合した、バッチ同期的擬似ストリーミング（BSPS）を提案する。
• 通信量と同期オーバーヘッドを含むようにBSPコスト関数を一般化し、ハードウェア測定から得られるパラメータ $ l $（レイテンシ）と $ g $（帯域幅の逆数）を用いる。
• ハイパーステップの概念を導入し、$ k = n / (N M) $ で定義する。$ k_{\text{equal}} \approx 8 $ が通信優位と計算優位のフェーズの遷移点を示す。
• 新たなコスト関数を定義：$ T = \sum_{i=0}^{k-1} \left( \max_s w_i^{(s)} + g h_i + l \right) $、ここで $ h_i $ はスーパーステップ $ i $ におけるプロセッサごとの最大通信量である。
• Epiphany BSPライブラリを構築し、Parallellaボード上でBSPSプリミティブを実装。BSPlibに最小限でポータブルな追加を施した。
• ハードウェアクロックのキャリブレーションを用いて、真の通信および同期コストを分離。その結果、$ l \approx 136~\text{FLOP} $ および $ g \approx 5.59~\text{FLOP/float} $ を得た。

実験結果

リサーチクエスチョン

• RQ1 BSPモデルを、限られたローカルメモリを備えた多数コアのコプロセッサ上で効率的に実行できるように拡張するにはどうすればよいか？
• RQ2 BSPSアルゴリズムの実行時間を正確に予測し、性能ボトルネックを同定できるように、一般化されたコスト関数を導出できるか？
• RQ3 ハイパーステップパラメータ $ k $ は、BSPSアルゴリズムにおける計算と通信の間で、どのように効果的な負荷分散を可能にするか？
• RQ4 BSPSを、さまざまな多数コアプラットフォーム間でポータブルかつ相互運用可能にするにはどうすればよいか？
• RQ5 BSPSフレームワークは、密度行列乗算のような実際のHPCワークロードに効果的に適用できるか？

主な発見

• BSPSコスト関数は、Epiphany-IIIプロセッサ上でキャンンのアルゴリズムの実行時間行動を正確に予測でき、実験結果と理論的予測がよく一致した。
• 通信優位と計算優位のハイパーステップの遷移点は $ k_{\text{equal}} \approx 8 $ に位置し、実験で観察された性能トレンドと整合的であった。
• 測定されたレイテンシ $ l \approx 136~\text{FLOP} $ および帯域幅の逆数 $ g \approx 5.59~\text{FLOP/float} $ は、性能モデリングに適した正確なハードウェアコストパラメータを提供した。
• Epiphany BSPライブラリにより、Parallellaプラットフォーム上でBSPSアルゴリズムのポータブル実装が可能となり、フレームワークの実現可能性が示された。
• フレームワークは、リアルタイム動画処理やスパース行列演算を含む他の分野へも拡張可能であり、ビッグデータおよびHPC分野への広範な適用可能性を示唆している。
• 理論的コスト解析と測定実行時間との一貫性ある一致により、モデルの正確性が裏付けられた。変動する行列サイズやブロックサイズの下でも同様に成立した。