[논문 리뷰] A Fast Combination of AES Encryption and LZ4 Compression Algorithms

Saber Malekzadeh|arXiv (Cornell University)|2016. 01. 01.

Algorithms and Data Compression참고 문헌 1인용 수 2

한 줄 요약

이 논문은 AES 암호화와 LZ4 압축을 파ip라인화되고 병렬화된 방식으로 천연적으로 통합하는 고속 데이터 처리 파이프라인을 제안한다. 이는 동시에 데이터 크기를 줄이고 강력한 보안을 확보한다. 데이터 스트림을 압축과 암호화가 동시에 적용되는 통합 파이프라인을 통해 처리함으로써, LZ4의 빠른 속도와 AES의 보안성을 활용하여 종단 간 처리량 약 400 MB/s를 달성한다. 이는 순차적 또는 단순한 조합 방식보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

From a long time ago, beside encryption of data and making it secure, compression packing it was also important that could make transmission of data faster. In the past years need for improvement of encryption and compression for a fast and easy transmission is more necessary. In this paper, a new method for combination of LZ4 combination and AES encryption algorithms for a fast and easy packing, securing and compressing of data is presented. Choose of these two algorithms was for some special features of them about aim of this paper. This paper also is introducing a method for Parallelism of compression and encryption in a special way for improvement of speed and security of data.

연구 동기 및 목표

• 암호화와 압축의 순차적 처리로 인한 성능 저하 문제를 해결하기 위해 암호화와 압축의 순차적 처리를 제거한다.
• LZ4의 스트리밍 포맷이 내재한 병렬성과 AES의 블록 단위 처리 방식을 활용하여 동시 실행을 가능하게 한다.
• 보안성을 훼손하지 않으면서 지연을 줄이고 처리량을 높이는 통합된 데이터 처리 파이프라인을 설계한다.
• 표준 순차적 방식에 비해 압축과 암호화를 하나의 최적화된 파이프라인에서 수행할 경우 실질적인 성능 향상이 가능함을 입증한다.

제안 방법

• 각 블록은 최대 2 MB의 고정 크기로 처리되며, LZ4의 스트리밍 포맷을 사용하여 헤더와 압축된 데이터를 포함한다.
• 각 데이터 블록은 먼저 LZ4로 압축된 후, 즉시 파이프라인 방식으로 AES로 암호화된다.
• 파이프라인은 동시에 실행을 가능하게 하여, 한 블록이 압축 중일 때 이전 블록은 이미 암호화되고 있어 유휴 시간을 최소화한다.
• 단일 스레드, 단일 스트림 아키텍처를 사용하며 최적화된 메모리 접근 패턴을 통해 처리량을 극대화한다.
• 각 LZ4 블록의 전체 헤더가 암호화 이전에 확보되어 정확한 복호화 및 복압축이 가능하도록 보장한다.
• 성능 및 플랫폼 간 이식성을 검증하기 위해 C#과 Java로 시스템을 구현하였다.

실험 결과

연구 질문

• RQ1 AES와 LZ4를 단일 파이프라인 처리 방식으로 효과적으로 통합하여 종단 간 처리량을 향상시킬 수 있는가?
• RQ2 스트리밍 포맷에서 압축과 암호화 작업을 병렬화하면 순차적 처리 대비 실질적인 성능 향상이 이루어지는가?
• RQ3 압축과 암호화를 동시에 실행할 경우, LZ4의 본래 속도와 AES의 보안성이 어느 정도 유지되는가?
• RQ4 기본적인 순차적 처리 방식인 압축 후 암호화 또는 암호화 후 압축 대비 이 방법의 처리량과 지연 시간에서의 성능 비교는 어떠한가?
• RQ5 데이터베이스 백업, 보안 파일 전송, 메모리 I/O와 같은 실제 응용 분야에 이 통합 파이프라인을 적용할 경우 실용적 의미는 무엇인가?

주요 결과

• 제안된 파이프라인은 약 400 MB/s의 처리량을 달성하여 순수한 LZ4 압축 속도와 동일한 효율성을 보이며, 높은 효율성을 입증한다.
• 압축과 암호화 간 진정한 병렬 처리가 가능하여 유휴 시간을 줄이고 전체 시스템 활용도를 향상시킨다.
• 표준 LZ4 스트리밍 포맷과 완전히 호환되어 상호 운용성과 정확성을 보장한다.
• 특히 I/O 기반 및 네트워크 전송 환경에서, 단순한 순차적 조합 방식에 비해 뚜렷이 뛰어난 성능 향상을 보인다.
• C#과 Java로의 구현을 통해 이 방법의 실행 가능성과 다양한 런타임 환경에서의 이식성이 확인되었다.
• 결과적으로 이 둘의 알고리즘을 통합된 파이프라인에서 실행하는 것은 가능할 뿐 아니라 속도와 보안 측면에서 매우 유익하다는 것이 입증되었다.