[論文レビュー] Efficient Synchronization Primitives for GPUs

Jeff A. Stuart, John D. Owens|arXiv (Cornell University)|Oct 20, 2011

Parallel Computing and Optimization Techniques参考文献 11被引用数 45

ひとこと要約

本稿では、GPUに特化して最適化された高パフォーマンスな同期プリミティブ（バリア、ミューテックス、セマフォ）を提示している。アトミック操作を最小限に抑えることで、通常のメモリアクセスよりも著しく遅いアトミック操作の影響を軽減している。著者らはGPUメモリシステムの抽象化を導入し、TeslaおよびFermi GPUのベンチマークを実施して実装の指針を得た。スピンロックベースラインと比較して最大70倍の高速化を達成し、特に競合状態下で顕著な性能向上を示した。また、GPUアーキテクチャに適応可能な高水準でポータブルなライブラリを提供している。

ABSTRACT

In this paper, we revisit the design of synchronization primitives---specifically barriers, mutexes, and semaphores---and how they apply to the GPU. Previous implementations are insufficient due to the discrepancies in hardware and programming model of the GPU and CPU. We create new implementations in CUDA and analyze the performance of spinning on the GPU, as well as a method of sleeping on the GPU, by running a set of memory-system benchmarks on two of the most common GPUs in use, the Tesla- and Fermi-class GPUs from NVIDIA. From our results we define higher-level principles that are valid for generic many-core processors, the most important of which is to limit the number of atomic accesses required for a synchronization operation because atomic accesses are slower than regular memory accesses. We use the results of the benchmarks to critique existing synchronization algorithms and guide our new implementations, and then define an abstraction of GPUs to classify any GPU based on the behavior of the memory system. We use this abstraction to create suitable implementations of the primitives specifically targeting the GPU, and analyze the performance of these algorithms on Tesla and Fermi. We then predict performance on future GPUs based on characteristics of the abstraction. We also examine the roles of spin waiting and sleep waiting in each primitive and how their performance varies based on the machine abstraction, then give a set of guidelines for when each strategy is useful based on the characteristics of the GPU and expected contention.

研究の動機と目的

• GPUが複雑で制御中心のワークロードにますます利用される中で、高パフォーマンスでGPUに最適化された同期プリミティブが不足しているという問題に対処すること。
• CPUベースの同期パターンをGPUアーキテクチャに適用した場合の制限を特定し、それらを克服すること。
• GPUメモリシステムの性能モデルを構築し、同期プリミティブの効率的な実装を指針とする。
• GPUアーキテクチャに応じて最適な実装を自動選択できる、ポータブルで高水準の同期プリミティブライブラリを構築すること。
• GPUの特性と競合レベルに応じて、スピンウェイティングとスリープウェイティング戦略をいつ使用すべきかのガイドラインを提供すること。

提案手法

• GPUのメモリシステム動作、特にアトミックアクセスとバニラメモリアクセスの速度比に着目したマシン抽象化を設計し、GPUを分類する。
• TeslaおよびFermi GPU上でメモリシステムテストのスイートを実装・ベンチマークし、パフォーマンスのボトルネックを特定し、プリミティブ設計の根拠を得た。
• アトミック操作の数を可能な限り減らすことで、同期プリミティブを最適化し、遅延を低減した。
• C++の高水準ライブラリ抽象化を設計し、CPU風のセマンティクス（例：lock()、unlock()）を提供。複数の下位実装をサポートする。
• ミューテックスにバックオフ戦略を導入し、セマフォにスリープウェイティング機構を追加することで、高競合状態下でのコンテンツションオーバーヘッドを低減した。
• 抽象化から将来のGPUパフォーマンスを予測し、特に競合状態やアトミック操作の速度向上に応じた外挿を実施した。

実験結果

リサーチクエスチョン

• RQ1 GPUにおけるアトミックアクセスとバニラメモリアクセスのパフォーマンス特性は、CPUとどのように異なるのか。また、それらは同期プリミティブ設計にどのように影響を与えるか。
• RQ2 GPU同期におけるスピンウェイティングとスリープウェイティング戦略の最適なバランスは何か。また、GPUアーキテクチャや競合レベルに依存するか。
• RQ3 現代のGPU上で正しく動作し、パフォーマンスを維持できるように、アトミック操作の数を最小限に抑えた同期プリミティブを設計できるか。
• RQ4 GPUのメモリシステム特性に基づき、特定のGPUに最適な実装を自動選択できる、ポータブルで高水準の同期ライブラリをどのように構築できるか。
• RQ5 アトミック操作がバニラロード速度に近づく将来のGPUでは、どのようなパフォーマンス向上が期待できるか。

主な発見

• Tesla GPUではFAミューテックスがスピンロックと比べてほぼ40倍高速であり、バックオフとアトミック使用の削減の有効性が示された。
• Fermi GPUでは、スピンロックにバックオフを追加することでパフォーマンスが約40%向上し、競合状態に適応した設計の重要性が浮き彫りになった。
• スリープセマフォはTeslaではスピンロックセマフォの3倍以上、Fermiでは70倍以上高速であり、高競合状態下でのスリープウェイティングの利点が明確になった。
• アトミックアクセスとバニラアクセスのパフォーマンス差が重要な要因である。Fermiではこの比が約10:1であり、スピンプリミティブのパフォーマンスに深刻な影響を与える。
• 著者らは、アトミック操作がバニラアクセス速度に近づくようになると、バックオフ機構が高パフォーマンスを達成するための主要因になると予測している。
• グローバルバリア（例：__syncblocks()）のハードウェアサポートがあれば、FFT やビットオニックソートなどのアルゴリズムのパフォーマンスがさらに向上し、ライブラリにシームレスに統合可能である。