[論文レビュー] Accelerating Lossless Data Compression with GPUs

R. L. Cloud, Matthew Leon Curry+3 more|arXiv (Cornell University)|Jun 21, 2011

Algorithms and Data Compression参考文献 4被引用数 14

ひとこと要約

本論文では、コードパッキングおよびブロック境界処理の変更により、ブロック単位で独立して圧縮・解処理が可能なGPUアクセラレート版ハフマン圧縮を提案する。NVIDIA GTX 285を用いたCUDA実装において、GPUエンコーダーはメモリ転送を除き4 GB/secを超えるスループットを達成し、シーケンシャルおよびOpenMP CPU実装を上回った。これは、アルゴリズムの分岐とデータ並列処理の課題が存在するにもかかわらず、GPUが損失なし圧縮を効果的に高速化できることを示している。

ABSTRACT

Huffman compression is a statistical, lossless, data compression algorithm that compresses data by assigning variable length codes to symbols, with the more frequently appearing symbols given shorter codes than the less. This work is a modification of the Huffman algorithm which permits uncompressed data to be decomposed into indepen- dently compressible and decompressible blocks, allowing for concurrent compression and decompression on multiple processors. We create implementations of this modified algorithm on a current NVIDIA GPU using the CUDA API as well as on a current Intel chip and the performance results are compared, showing favorable GPU performance for nearly all tests. Lastly, we discuss the necessity for high performance data compression in today's supercomputing ecosystem.

研究の動機と目的

• 帯域幅とストレージ制約が厳しいスーパーコンputィング環境における、高性能損失なしデータ圧縮の増大するニーズに対応する。
• 従来のハフマン圧縮の本質的な逐次的性質を克服し、並列実行を可能にするために、ブロック単位の独立処理を可能にする。
• 現代のGPU上でCUDAを用いたハフマンエンコードおよびデコードにおけるGPUアクセラレーションの実現可能性と性能を評価する。
• GPU性能をシーケンシャルおよびマルチコアCPU実装と比較し、実世界における加速の可能性を評価する。
• メモリアクセスおよびカーネル設計が最適化されていれば、複雑な分岐を伴うアルゴリズムに対してもGPUアクセラレーションが有効であることを示す。

提案手法

• 各ブロックの先頭に4バイト整数としてブロック長を格納することで、固定サイズのデータブロックを独立して圧縮可能となるようにハフマンアルゴリズムを変更する。
• ブロック境界をまたがる際のビットアライメント問題を回避するため、エンコード済みブロックを4バイト境界にパックする。
• NVIDIA GTX 285（240コア）を用い、CUDA APIを介してGPUベースのエンコーダーおよびデコーダーを実装する。
• デコードには二分木走査機構を、エンコードにはビット単位の演算を用いるが、両者とも連続メモリアクセスに適応させる。
• 非同期メモリ転送を適用し、データ移動と計算を重ねることで、オンラインまたはストリーミングワークロードにおけるI/Oボトルネックを軽減する。
• GPUアクセラレーションの利点を明確にするために、シーケンシャルCPU実装およびOpenMP並列CPUバージョンと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 圧縮効率を損なわずに、GPU上でブロック単位の並列処理が可能なように、修正されたハフマン圧縮アルゴリズムを設計できるか？
• RQ2 現代のマルチコアCPUと比較して、GPUアーキテクチャはハフマンエンコードおよびデコードをどの程度高速化できるか？
• RQ3 可変長コードを用いた損失なし圧縮ワークロードにおいて、分岐パターンおよびメモリアクセスパターンがGPU性能に与える影響はいかほどか？
• RQ4 GPUアクセラレートシステムにおけるエンドツーエンドの圧縮スループットに、メモリ転送オーバーヘッドが与える影響は何か？
• RQ5 実世界の科学計算ワークロードにおいて、GPUアクセラレーションは損失なし圧縮で実用的な性能向上をもたらすことができるか？

主な発見

• NVIDIA GTX 285上でのGPUベースのハフマンエンコーダーは、メモリ転送時間を除き4 GB/secを超える原始的スループットを達成した。
• GPUがCPUよりも60倍も多くのコアを有しているにもかかわらず、カーネル内の分岐の不一致のため、OpenMP CPUエンコーダーとのスピードアップはやや限定的であった。
• GPUデコーダーはエンコーダーよりも高い加速を達成した。これは、分岐演算が少なく、メモリの連続アクセスが良好だったためである。
• CPUデコーダーはスレッド数の増加に伴い、Intelのハイパースレディングおよびメモリリクエストの隠蔽により、スレッド数が8に達するまでにスーパー線形スループットを示した。
• 非同期メモリ転送は、オンラインまたはストリーミング圧縮シナリオにおけるI/Oボトルネックを緩和するのに有効である。
• GPUエンコーダーはCPUの代替手段を上回ったが、全体のシステムスループットはデータ転送オーバーヘッドによって制限されており、現在のハードウェアでは単体での利用は現実的でない。