[論文レビュー] Faster Radix Sort via Virtual Memory and Write-Combining

Jan Wassenberg, Peter Sanders|arXiv (Cornell University)|Aug 17, 2010

Parallel Computing and Optimization Techniques参考文献 9被引用数 2

ひとこと要約

この論文は、仮想メモリとソフトウェアによるライト結合を活用して、メモリ帯域幅のピークに近い利用率を達成する、32ビット整数キー向けの高性能ラジックスォートアルゴリズムを提示する。出力配列を仮想メモリでマップし、ソフトウェア管理のバッファを介して非一時的（non-temporal）な書き込みを結合することで、32ビットキーに対して1秒間に621 M/sのスループットを達成し、Intelの最適化済みラジックスォートを1.5倍、PCIeのオーバーヘッドを含むFermi GPUを1.24倍上回る性能を発揮する。

ABSTRACT

Sorting algorithms are the deciding factor for the performance of common operations such as removal of duplicates or database sort-merge joins. This work focuses on 32-bit integer keys, optionally paired with a 32-bit value. We present a fast radix sorting algorithm that builds upon a microarchitecture-aware variant of counting sort. Taking advantage of virtual memory and making use of write-combining yields a per-pass throughput corresponding to at least 88 % of the system's peak memory bandwidth. Our implementation outperforms Intel's recently published radix sort by a factor of 1.5. It also compares favorably to the reported performance of an algorithm for Fermi GPUs when data-transfer overhead is included. These results indicate that scalar, bandwidth-sensitive sorting algorithms remain competitive on current architectures. Various other memory-intensive applications can benefit from the techniques described herein.

研究の動機と目的

• 現代のx86アーキテクチャにおいて帯域幅制限の多いソートアルゴリズムの性能を向上させること。
• メモリ集約的なソート処理における、書き込み結合バッファの制限とキャッシュ汚染という性能ボトルネックを解消すること。
• スカラ型で帯域幅最適化されたアルゴリズムが、高度に並列化されたGPU実装に対しても競争力を持つことを示すこと。
• 仮想メモリとソフトウェアによるライト結合が、ソーティングカーネルにおいてピークに近いメモリスループットを達成可能であることを示すこと。

提案手法

• 出力配列のための大容量かつ連続したアドレス空間を仮想メモリで確保することで、キャッシュ汚染を回避する。
• L1キャッシュラインに書き込みをバッファリングし、非一時的ストアを発行することで、ソフトウェアによるライト結合を実装する。
• 複数の書き込みを1回のバースト転送に統合する非一時的ストリーミングストアを適用し、バスオーバーヘッドを最小限に抑える。
• ヒストグラムカウンティングを事前に割り当てられたキーバッファへの直接インデックスアクセスに置き換えることで、カウンティングソートを最適化する。
• SSE2インストラクションを活用して、効率的なベクトル化されたロードおよび非一時的ストア操作を実現する。
• Intel i7のアンコアパフォーマンスカウンタへのカーネルモードアクセスを通じて、メモリ帯域幅の利用率を測定する。

実験結果

リサーチクエスチョン

• RQ1 仮想メモリとソフトウェアによるライト結合は、現代のx86システムにおけるスカラ型ラジックスォートのスループットを顕著に向上させ得るか？
• RQ2 ソフトウェアによるライト結合は、ハードウェアの書き込み結合バッファの制限をどの程度緩和できるか？
• RQ3 PCIeデータ転送オーバーヘッドを含めた場合、高度に最適化されたスカラ型ラジックスォートの性能はFermi GPUと比べてどの程度か？
• RQ4 これらの技術を用いた帯域幅制限のソーティングカーネルが、理論上のピークメモリ帯域幅の何パーセントを達成できるか？
• RQ5 測定された読み取りトラフィックが書き込みトラフィックより約10%多い理由は何か？その不均衡の原因は何か？

主な発見

• 提案されたアルゴリズムは、32ビット整数キーに対して1秒間に621 M/sのスループットを達成し、Intelの報告値（デュアルCPUおよびハイパースレーディングなしを想定）を1.5倍上回る。
• 32ビット値を対象とした場合、スループットは430 M/sに達しており、計算が部分的なボトルネックであるものの、依然としてメモリ帯域幅が支配的であることが示された。
• 理論上のピークメモリ帯域幅の88%を達成しており、4回のパスで2041 MiBの書き込みと2272 MiBの読み取りが発生した。
• 書き込みを超える10%の追加読み取りトラフィックは未解明であり、さらなる調査が求められる。
• トランジスタ数（1.46B vs. 3B）および熱設計消費電力（260W vs. 300W）が低いにもかかわらず、PCIeデータ転送オーバーヘッドを含めた場合、デュアルCPU実装はGTX 480 GPUを上回る性能を発揮した。
• 測定された帯域幅利用率は、メモリ操作に費やされる時間がすでに理論的最小値に近く、さらなる最適化の余地はほとんどないことを示唆している。