[論文レビュー] A Fast Combination of AES Encryption and LZ4 Compression Algorithms

Saber Malekzadeh|arXiv (Cornell University)|Jan 1, 2016

Algorithms and Data Compression参考文献 1被引用数 2

ひとこと要約

本論文は、AES暗号化とLZ4圧縮をパイプライン化・並列化された形でネイティブに統合する、新規で高速なデータ処理パイプラインを提案する。圧縮と暗号化を同時に実行することで、データサイズを削減するとともに強固なセキュリティを確保する。LZ4の高速性とAESのセキュリティを活用し、統合されたパイプラインでデータストリームを処理することで、エンドツーエンドのスループットが約400 MB/sに達し、直列処理や単純な組み合わせ手法に比べ顕著に優れている。

ABSTRACT

From a long time ago, beside encryption of data and making it secure, compression packing it was also important that could make transmission of data faster. In the past years need for improvement of encryption and compression for a fast and easy transmission is more necessary. In this paper, a new method for combination of LZ4 combination and AES encryption algorithms for a fast and easy packing, securing and compressing of data is presented. Choose of these two algorithms was for some special features of them about aim of this paper. This paper also is introducing a method for Parallelism of compression and encryption in a special way for improvement of speed and security of data.

研究の動機と目的

• 暗号化と圧縮の直列処理による性能ボトルネックを解消することにより、安全で圧縮されたデータ送信における性能を向上させること。
• LZ4のストリーミング形式が持つ内在的な並列性と、AESのブロック単位処理の特性を活用し、同時に実行可能な処理を可能にすること。
• セキュリティを損なわずに遅延を低減しスループットを向上させる統合型データ処理パイプラインを設計すること。
• 標準的な直列処理手法と比較して、圧縮と暗号化を1つの最適化されたパイプラインで統合することによる性能向上が実際に測定可能であることを示すこと。

提案手法

• データは最大2 MBの固定サイズブロックに分割され、LZ4のストリーミング形式に従う。各ブロックにはヘッダと圧縮データが含まれる。
• 各データブロックはまずLZ4で圧縮され、その後直ちにAESを用いて暗号化される。この処理はパイプライン形式で実行される。
• パイプラインにより並列実行が可能となり、1つのブロックが圧縮されている間、前のブロックは同時に暗号化されているため、無駄な待機時間が最小限に抑えられる。
• 単一スレッド・単一ストリームアーキテクチャを採用し、メモリアクセスの最適化によりスループットを最大化する。
• 各LZ4ブロックの完全なヘッダが暗号化前に利用可能であることを保証することで、正しい復号および復元が可能になる。
• 実装はC#およびJavaで行われ、異なるプラットフォーム間でのパフォーマンスとポータビリティの妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 AESとLZ4を1つのパイプライン化された処理パイプラインで効果的に統合できるか、エンドツーエンドのスループットが向上するか。
• RQ2 ストリーミング形式で圧縮と暗号化の処理を並列化することで、直列処理に比べて測定可能な性能向上が得られるか。
• RQ3 圧縮と暗号化を同時に実行する際、LZ4の高速性とAESのセキュリティがどの程度維持されるか。
• RQ4 本手法は、標準的な直列処理（圧縮後に暗号化、または逆）と比較して、スループットと遅延の点でどのように異なるか。
• RQ5 データベースバックアップ、安全なファイル転送、メモリI/Oなどの実世界の応用において、この統合パイプラインがもたらす実用的意義は何か。

主な発見

• 提案されたパイプラインは約400 MB/sのスループットを達成し、純粋なLZ4圧縮と同等の速度を示しており、高い効率性を示している。
• 圧縮と暗号化の間に真の並列処理が実現され、無駄な待機時間が削減され、全体のシステム利用効率が向上している。
• 標準的なLZ4ストリーミング形式と完全に互換性があるため、相互運用性と正しさが保証されている。
• 特にI/O制限やネットワーク転送環境において、単純な直列処理の組み合わせに比べ顕著に性能が優れている。
• C#およびJavaでの実装により、本手法の実現可能性と異なるランタイム環境へのポータビリティが確認された。
• 結果として、これらの2つのアルゴリズムを統合型パイプラインで処理することは、単に可能であるだけでなく、速度とセキュリティの両面で顕著な利点をもたらすことが示された。