[论文解读] A Fast Combination of AES Encryption and LZ4 Compression Algorithms

Saber Malekzadeh|arXiv (Cornell University)|Jan 1, 2016

Algorithms and Data Compression参考文献 1被引用 2

一句话总结

本文提出了一种新颖的高速数据处理流水线，原生地将AES加密与LZ4压缩以流水线化、并行化的方式结合，同时实现数据压缩和强安全性保障。通过将数据流经统一的流水线，使压缩与加密同步执行——利用LZ4的高速性能和AES的安全性，该方法实现了约400 MB/s的端到端吞吐量，显著优于串行处理或简单组合的方法。

ABSTRACT

From a long time ago, beside encryption of data and making it secure, compression packing it was also important that could make transmission of data faster. In the past years need for improvement of encryption and compression for a fast and easy transmission is more necessary. In this paper, a new method for combination of LZ4 combination and AES encryption algorithms for a fast and easy packing, securing and compressing of data is presented. Choose of these two algorithms was for some special features of them about aim of this paper. This paper also is introducing a method for Parallelism of compression and encryption in a special way for improvement of speed and security of data.

研究动机与目标

• 为解决安全压缩数据传输中的性能瓶颈，通过消除加密与压缩的串行处理来实现优化。
• 利用LZ4流格式的内在并行性以及AES的分块操作特性，实现压缩与加密的并发执行。
• 设计统一的数据处理流水线，在不牺牲安全性的前提下降低延迟并提高吞吐量。
• 证明在单一优化流水线中结合压缩与加密，可显著优于标准串行处理方法。

提出的方法

• 该方法使用LZ4的流格式，将数据按固定大小块（最大2 MB）处理，每个块包含头部和压缩数据。
• 每个数据块首先使用LZ4进行压缩，随后立即通过AES以流水线方式加密。
• 流水线支持并发执行：当一个块正在压缩时，前一个块正在加密，从而最大限度减少空闲时间。
• 采用单线程、单流架构，结合优化的内存访问模式，以最大化吞吐量。
• 设计确保每个LZ4块的完整头部在加密前可用，从而保证解密与解压缩的正确性。
• 系统使用C#和Java实现，以验证其在不同平台上的性能与可移植性。

实验结果

研究问题

• RQ1 AES与LZ4能否在单一、流水线化的处理流水线中有效结合，以提升端到端吞吐量？
• RQ2 在流格式中并行化压缩与加密操作，是否能相比串行处理带来可测量的性能提升？
• RQ3 在并行执行时，LZ4的固有速度与AES的安全性能在多大程度上得以保持？
• RQ4 与标准的先压缩后加密或先加密后压缩的工作流相比，该方法在吞吐量和延迟方面表现如何？
• RQ5 该联合流水线在数据库备份、安全文件传输和内存I/O等实际应用场景中具有何种实际影响？

主要发现

• 所提出的流水线实现了约400 MB/s的吞吐量，与纯LZ4压缩速度相当，表现出高度效率。
• 该方法实现了压缩与加密之间的真正并行性，减少了空闲时间，提升了整体系统利用率。
• 流水线保持了与标准LZ4流格式的完全兼容性，确保互操作性与正确性。
• 该方法显著优于简单的串行压缩与加密组合，尤其在I/O受限和网络传输场景中优势明显。
• C#与Java的实现验证了该方法在不同运行时环境下的可行性与可移植性。
• 结果表明，将这两种算法整合到统一流水线中不仅可行，而且在速度与安全性方面均具有显著优势。