[論文レビュー] Provably Efficient GPU Algorithms.

Nodari Sitchinava, Volker Weichert|arXiv (Cornell University)|Jun 21, 2013

Parallel Computing and Optimization Techniques参考文献 17被引用数 8

ひとこと要約

本論文は、共有メモリとバンク競合モデリングを統合することで、並列外部記憶（PEM）モデルを拡張する新しいGPUアルゴリズムモデルを紹介する。これにより、証明可能な効率性を持つGPUアルゴリズムの実現が可能になる。本論文では、バンク競合を回避するアルゴリズムの設計を可能にするフレームワークを提示し、その具体例として、バンク競合のない最初の共有メモリソーティングアルゴリズムを提示する。このアルゴリズムは、THRUSTライブラリにおけるGPUマージソートの性能を顕著に向上させる。

ABSTRACT

In this paper we present an abstract model for algorithm design on GPUs by extending the parallel external memory (PEM) model with computations in internal memory (commonly known as shared memory in GPU literature) defined in the presence of memory banks and bank conflicts. We also present a framework for designing bank conflict free algorithms on GPUs. Using our framework we develop the first shared memory sorting algorithm that incurs no bank conflicts. Our sorting algorithm can be used as a subroutine for comparison-based GPU sorting algorithms to replace current use of sorting networks in shared memory. We show experimentally that such substitution improves the runtime of the mergesort implementation of the THRUST library.

研究の動機と目的

• 共有メモリとバンク競合を組み込んだGPUアルゴリズム設計のための抽象モデルの開発。
• アルゴリズム実行中に生じるバンク競合による性能ボトルネックの解消。
• バンク競合を回避するGPUアルゴリズムを体系的に設計するフレームワークの構築。
• バンク競合のない最初の共有メモリソーティングアルゴリズムの構築。
• GPUライブラリにおけるソーティングネットワークの置き換えによって得られる実用的性能向上の実証。

提案手法

• 並列外部記憶（PEM）モデルを拡張し、内部メモリ計算を含める。具体的には、メモリバンクとバンク競合を共有メモリでモデル化する。
• バンク競合を検出・回避できるように、共有メモリアクセスパターンの形式的抽象化を導入する。
• すべての共有メモリアクセスが構成上バンク競合を起こさないことを保証する体系的なアルゴリズムフレームワークを開発する。
• バンク競合が一切ない状態で動作する、新しい比較ベースのソーティングアルゴリズムを設計する。
• 新しいソーティングアルゴリズムをGPUマージソート実装のサブルーチンとして採用し、既存のソーティングネットワークを置き換える。
• THRUSTライブラリのマージソートを対象に、実験的評価を通じて性能向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 GPUの共有メモリアクセスパターンを、バンク競合を考慮して形式的にモデル化する方法は何か？
• RQ2 バンク競合を回避するGPUアルゴリズムを設計するためのアルゴリズムフレームワークは何か？
• RQ3 比較ベースのソーティングアルゴリズムを、バンク競合なしに共有メモリ内で実装できるか？
• RQ4 GPUライブラリにおいてソーティングネットワークを競合のない共有メモリソーティングに置き換えることで、どの程度の性能向上が達成できるか？
• RQ5 実際のGPUマージソートにおいて、新しいアルゴリズムはどのように効率を向上させるか？

主な発見

• 提案されたモデルは、PEMを共有メモリとバンク競合モデリングを含める形に成功して拡張され、GPUアルゴリズムの形式的解析を可能にした。
• フレームワークにより、設計段階からバンク競合を回避するアルゴリズムが構築可能となり、性能劣化の主要因が排除された。
• バンク競合のない最初の共有メモリソーティングアルゴリズムが正常に実装され、正しさが証明された。
• 実験結果から、ソーティングネットワークを新しい共有メモリソーティングアルゴリズムに置き換えることで、THRUSTライブラリのマージソートにおける実行時間が短縮された。
• 性能向上は測定可能であり、顕著であり、共有メモリ操作におけるバンク競合の排除が実用的影響を及ぼすことを示している。