[论文解读] Accelerating Lossless Data Compression with GPUs

R. L. Cloud, Matthew Leon Curry+3 more|arXiv (Cornell University)|Jun 21, 2011

Algorithms and Data Compression参考文献 4被引用 14

一句话总结

本文提出了一种基于GPU加速的Huffman压缩变体，通过修改码字打包和块边界处理机制，实现了分块独立压缩与解压缩。在NVIDIA GTX 285上使用CUDA实现，GPU编码器的吞吐量超过4 GB/sec（不包括内存传输时间），优于串行和OpenMP并行的CPU实现，表明尽管存在算法分支和数据并行挑战，GPU仍能有效加速无损压缩。

ABSTRACT

Huffman compression is a statistical, lossless, data compression algorithm that compresses data by assigning variable length codes to symbols, with the more frequently appearing symbols given shorter codes than the less. This work is a modification of the Huffman algorithm which permits uncompressed data to be decomposed into indepen- dently compressible and decompressible blocks, allowing for concurrent compression and decompression on multiple processors. We create implementations of this modified algorithm on a current NVIDIA GPU using the CUDA API as well as on a current Intel chip and the performance results are compared, showing favorable GPU performance for nearly all tests. Lastly, we discuss the necessity for high performance data compression in today's supercomputing ecosystem.

研究动机与目标

• 应对超级计算环境中因带宽和存储限制而日益增长的高性能无损数据压缩需求。
• 通过支持独立的块处理以实现并行执行，克服传统Huffman压缩固有的顺序性。
• 评估使用CUDA在现代GPU上加速Huffman编码与解码的可行性和性能表现。
• 将GPU性能与串行和多核CPU实现进行对比，以评估实际应用中的加速潜力。
• 证明只要优化内存访问和内核设计，即使对于具有复杂分支的算法，GPU加速也能有效实现。

提出的方法

• 修改Huffman算法，通过在每个块开头存储4字节整数表示块长度，实现固定大小数据块的独立压缩。
• 将编码后的块对齐至4字节边界，避免解压缩时跨块边界出现位对齐问题。
• 在配备240个核心的NVIDIA GTX 285上，使用CUDA API实现GPU编码器与解码器。
• 解码采用二叉树遍历机制，编码采用位级操作，均针对合并内存访问进行优化。
• 应用异步内存传输，将数据移动与计算重叠，减轻在线或流式工作负载中的I/O瓶颈。
• 与串行CPU实现及OpenMP并行化CPU版本对比，以隔离GPU加速带来的性能增益。

实验结果

研究问题

• RQ1 能否在不牺牲压缩效率的前提下，使改进后的Huffman压缩算法适用于GPU上的分块并行化？
• RQ2 与现代多核CPU相比，GPU架构在Huffman编码与解码方面能实现多大程度的加速？
• RQ3 分支模式与内存访问模式如何影响具有可变长度编码的无损压缩工作负载中GPU的性能表现？
• RQ4 内存传输开销对GPU加速系统端到端压缩吞吐量有何影响？
• RQ5 在实际科学计算工作负载中，GPU加速能否为无损压缩提供切实可行的性能提升？

主要发现

• 在NVIDIA GTX 285上，基于GPU的Huffman编码器原始吞吐量超过4 GB/sec（不包括内存传输时间）。
• 尽管GPU核心数是CPU的60倍，但由于内核中存在分支发散，其相对于OpenMP CPU编码器的加速比仍较适中。
• GPU解码器的加速效果优于编码器，因其分支操作更少且内存合并更优。
• CPU解码器在多线程数增加时表现出超线性加速（最多达8个线程），得益于Intel的超线程技术与内存请求隐藏机制。
• 异步内存传输有助于缓解在线或流式压缩场景中的I/O瓶颈。
• 虽然GPU编码器优于CPU实现，但整体系统吞吐量仍受限于数据传输开销，使得当前硬件环境下独立使用GPU不切实际。