[論文レビュー] Lossless data compression on GPGPU architectures

Axel Eirola|arXiv (Cornell University)|Sep 11, 2011

Algorithms and Data Compression参考文献 7被引用数 4

ひとこと要約

本論文は、GPGPUアーキテクチャを活用して、前缀和やソーティングなどの並列プリミティブを用いて、特にbzip2の無損失データ圧縮を高速化する可能性を調査する。GPU最適化アルゴリズムを用いて、MTFやVLEのようなコア圧縮ステージは効率的に並列化可能であるが、ハフマン符号化は木構築の課題によりボトルネックとなる。ただし、高スルーレートなシナリオでは事前計算されたテーブルが実用的な代替手段となる。

ABSTRACT

Modern graphics processors provide exceptional computa- tional power, but only for certain computational models. While they have revolutionized computation in many fields, compression has been largely unnaffected. This paper aims to explain the current issues and possibili- ties in GPGPU compression. This is done by a high level overview of the GPGPU computational model in the context of compression algorithms; along with a more in-depth analysis of how one would implement bzip2 on a GPGPU architecture.

研究の動機と目的

• 無損失データ圧縮アルゴリズムがGPGPUプログラミングモデルとどの程度適合するかを分析すること。
• bzip2のどのステージがGPUの並列化に適しているか、どのステージがそうでないかを特定すること。
• メモリ帯域幅と同期制約を考慮した場合、GPGPUがデータ圧縮にどの程度のパフォーマンス向上をもたらすかを評価すること。
• GPU上で並列圧縮プリミティブ（例えば可変長符号化や前缀和）の実装を実践的に検討すること。
• PCIe経由のデータ転送オーバーヘッドが、GPGPUを用いた圧縮の全体的なパフォーマンスに与える影響を評価すること。

提案手法

• ワープベース実行とメモリコalescingに重点を置いた、GPGPU計算モデルの高レベルな概要を用いる。
• バーラウス＝ウェーラー変換、MTF、ハフマン符号化を含むbzip2パイプラインを分析し、データ並列演算に注目してGPUへの移植可能性を検討する。
• 可変長符号化およびデータ再配置ステージの高速化に、並列前缀和およびソーティングアルゴリズムを適用する。
• GPUで高負荷となる木構築を回避するため、ハフマンコードワードテーブルを事前計算する可能性を評価する。
• GFC やデータベース圧縮など、軽量圧縮の既存GPGPU実装を検討し、パフォーマンスのインサイトを得る。
• ワープベースモデルにおけるPCIe帯域幅やスレッド同期といったアーキテクチャ的制限を検討する。

実験結果

リサーチクエスチョン

• RQ1 bzip2圧縮パイプラインのどのステージがGPGPUアーキテクチャ上で効果的に並列化可能か？
• RQ2 GPGPUにおけるメモリアクセスパターンとスレッド同期は、無損失圧縮アルゴリズムのパフォーマンスにどのように影響するか？
• RQ3 前缀和やソーティングといった一般化されたGPUプリミティブは、圧縮タスクの高速化にどの程度寄与できるか？
• RQ4 GPU加速ハフマン符号化におけるパフォーマンスボトルネックは何か。また、それらは事前計算されたテーブルで緩和可能か？
• RQ5 PCIeデータ転送のオーバーヘッドは、CPU実装と比較してGPGPUベースの圧縮の全体的なスループット向上にどのように影響するか？

主な発見

• GPU上での並列前缀和およびソーティングアルゴリズムは、CPU実装と比較して最大20倍の高速化を達成し、データ再配置およびコードワード位置決めの効率的高速化を可能にする。
• bzip2の可変長符号化（VLE）ステージは、出力位置を計算するための並列前缀和を用いることで高速化可能であり、データ依存性の問題は最小限に抑えられる。
• MTF（Move-to-Front）変換はデータ依存性のため、効率的な並列化が難しいが、適切なメモリアクセスパターンを採用すればGPUでの実行は依然として可能である。
• ハフマン木構築は、本質的に逐次的であるため、GPU上でも主要なボトルネックのままであるが、事前計算されたコードワードテーブルを用いることで緩和可能である。
• デルタ符号化やヌル抑制といった軽量圧縮手法は、GPU上で75 GB/sを超える圧縮速度を達成しており、GPUの計算能力ではなくPCIe帯域幅が制限要因となっている。
• アーキテクチャ的課題が存在するが、データ転送オーバーヘッドを最小限に抑え、すべてのステージをGPU上で実行すれば、エンドツーエンドのGPUベース圧縮パイプラインはCPUベースのものを上回るパフォーマンスを発揮できる。