[論文レビュー] Sorting with GPUs: A Survey

Dmitri I. Arkhipov, Di Wu+2 more|arXiv (Cornell University)|Sep 8, 2017

Algorithms and Data Compression参考文献 39被引用数 4

ひとこと要約

本サーベイは、GPUベースのソートアルゴリズムについて包括的な分析を提供し、並列基数ソート、サンプルソート、ハイブリッド手法に焦点を当てる。高性能を達成する上で、オンチップメモリの有効な使用と、特にスキャンおよび1ビットスキャターを含む効率的なGPUプリミティブの活用が不可欠であることが明らかになった。特に、大規模データに対して最も効率的なアプローチとして、ハイブリッド基数-ビトニックソートが浮き彫りになった。

ABSTRACT

Sorting is a fundamental operation in computer science and is a bottleneck in many important fields. Sorting is critical to database applications, online search and indexing,biomedical computing, and many other applications. The explosive growth in computational power and availability of GPU coprocessors has allowed sort operations on GPUs to be done much faster than any equivalently priced CPU. Current trends in GPU computing shows that this explosive growth in GPU capabilities is likely to continue for some time. As such, there is a need to develop algorithms to effectively harness the power of GPUs for crucial applications such as sorting.

研究の動機と目的

• 2017年現在におけるGPUベースのソートアルゴリズムに関する研究の現状をマッピングし要約すること。
• GPUソートにおける主な性能ボトルネック、特にメモリアクセス遅延と帯域幅制限を特定すること。
• オンチップメモリ使用量の最適化とメモリ競合の低減に効果的なアルゴリズム戦略を強調すること。
• スキャンや1ビットスキャターなどのGPUプリミティブがソート性能に与える影響を評価すること。
• 研究者が高性能ソリューションを求める際に役立つ、基数ソート、サンプルソート、ハイブリッド手法を含むソート技法の比較的概要を提供すること。

提案手法

• GPUソートアルゴリズムを主に3つのファミリーに分類する：並列基数ソート、サンプルソート、ハイブリッドアプローチ。
• ソートネットワーク（例：ビトニック、奇数偶数マージ）がGPUベースのソートパイプラインにおけるサブルーチンとして果たす役割を分析する。
• メモリ階層の最適化、特にグローバルメモリに対して共有メモリおよびレジスタメモリの使用を最大化することの影響を評価する。
• 特にスキャンおよび1ビットスキャターを含むGPUプリミティブが、アルゴリズムの効率性および並列粒度に与える影響を検証する。
• 通信オーバーヘッド、メモリアクセスパターン、スレッドレベルの負荷バランスの観点から、実装間のパフォーマンスを比較する。
• 30篇以上の主要論文の知見を統合し、共通する設計原則およびパフォーマンスに重要な最適化を特定する。

実験結果

リサーチクエスチョン

• RQ1 GPUベースのソートで用いられる主要なアルゴリズムファミリーは何か？ それぞれのパフォーマンスとスケーラビリティの違いは？
• RQ2 メモリアクセスパターンと競合はGPUソートのパフォーマンスにどのように影響するか？ これらの問題を緩和する戦略は何か？
• RQ3 スキャンや1ビットスキャターなどのGPU固有のプリミティブが、ソートアルゴリズムの効率性にどの程度影響を与えるか？
• RQ4 なぜハイブリッド基数-ビトニックソートが実際の応用で他のアプローチを上回るのか？
• RQ5 現代のGPUにおいて、オンチップメモリおよびレジスタ使用量と全体のソートスループットの相関関係はいかなるものか？

主な発見

• 高性能GPUソートを達成する上で、オンチップメモリおよびレジスタの有効な使用が最も重要な要因である。
• 1つのスカラープロセッサごとに基数ソートとソートネットワークを組み合わせたハイブリッドアプローチが、純粋な比較ベースまたは基数ソートのみの方法を上回る最高のパフォーマンスを達成する。
• バケツ化とワープ単位のソートネットワークを用いた基数ソートは、メモリ競合を低減し、スレッド間の負荷バランスを改善する。
• GPUプリミティブの効率性、特に1ビットスキャターとスキャンの影響はパフォーマンスに顕著であり、一部の実装では細粒度の並列性が向上している。
• ワープソートやサンプルソートなどの比較ベースのソートは、32ビットキーに対して基数ベースの方法と同等の性能を示すが、大規模データセットではハイブリッド基数アプローチに劣る。
• 通信および同期のオーバーヘッドを低減するアルゴリズム的改善、特にレジスタの再利用とスレッドのコalescingにより、単純なカーネルマッピングに比べて顕著なパフォーマンス向上が得られる。