[논문 리뷰] Accelerating Lossless Data Compression with GPUs

R. L. Cloud, Matthew Leon Curry외 3명|arXiv (Cornell University)|2011. 06. 21.

Algorithms and Data Compression참고 문헌 4인용 수 14

한 줄 요약

이 논문은 코드 패킹 및 블록 경계 처리 방식을 수정함으로써 블록 단위로 독립적으로 압축 및 복원이 가능한 GPU 가속 버전의 히프만 압축을 제안한다. NVIDIA GTX 285에서 CUDA를 사용하여 GPU 인코더는 메모리 전송을 제외한 상태에서 4 GB/sec 이상의 처리량을 달성했으며, 순차적 및 OpenMP CPU 구현보다 뛰어난 성능을 보였다. 이는 알고리즘적 분기와 데이터 병렬 처리 과제가 존재하더라도 GPU가 손실 없는 압축을 효과적으로 가속화할 수 있음을 보여준다.

ABSTRACT

Huffman compression is a statistical, lossless, data compression algorithm that compresses data by assigning variable length codes to symbols, with the more frequently appearing symbols given shorter codes than the less. This work is a modification of the Huffman algorithm which permits uncompressed data to be decomposed into indepen- dently compressible and decompressible blocks, allowing for concurrent compression and decompression on multiple processors. We create implementations of this modified algorithm on a current NVIDIA GPU using the CUDA API as well as on a current Intel chip and the performance results are compared, showing favorable GPU performance for nearly all tests. Lastly, we discuss the necessity for high performance data compression in today's supercomputing ecosystem.

연구 동기 및 목표

• 대역폭과 스토리지 제약 조건이 있는 슈퍼컴퓨팅 환경에서 고성능 손실 없는 데이터 압축의 증가하는 수요를 해결하기 위해.
• 기존 히프만 압축의 본질적인 순차적 성격을 극복하기 위해 병렬 실행을 위한 독립적 블록 처리를 가능하게 하기 위해.
• 현대 GPU에서 CUDA를 사용한 히프만 인코딩 및 디코딩에 대한 GPU 가속의 실현 가능성과 성능을 평가하기 위해.
• 실제 가속 잠재력을 평가하기 위해 GPU 성능을 순차적 및 다중 코어 CPU 구현과 비교하기 위해.
• 메모리 접근 및 커널 설계가 최적화되어 있다면, 복잡한 분기 구조를 가진 알고리즘이라도 GPU 가속이 효과적일 수 있음을 입증하기 위해.

제안 방법

• 각 블록의 시작 부분에 4바이트 정수로 블록 길이를 저장함으로써 고정 크기의 데이터 블록을 독립적으로 압축할 수 있도록 히프만 알고리즘을 수정한다.
• 압축된 블록을 4바이트 경계에 맞추어 팩킹하여 복원 시 블록 경계를 넘어서는 비트 정렬 문제를 방지한다.
• NVIDIA GTX 285(240개 코어)를 사용하여 CUDA API를 기반으로 한 GPU 기반 인코더와 디코더를 구현한다.
• 디코딩을 위해 이진 트리 순회 메커니즘을 사용하고, 인코딩을 위해 비트 수준 연산을 사용하며, 둘 다 메모리 접근을 최적화하도록 조정한다.
• 비동기 메모리 전송을 적용하여 데이터 이동을 계산과 겹쳐 처리함으로써 온라인 또는 스트리밍 워크로드에서 I/O 병목 현상을 줄인다.
• GPU 가속의 이점을 분리하기 위해 순차적 CPU 구현 및 OpenMP로 병렬화된 CPU 버전과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 압축 효율성을 희생시키지 않으면서도, 수정된 히프만 압축 알고리즘이 GPU에서 블록 수준의 병렬 처리에 적합하게 만들 수 있는가?
• RQ2 현대 다중 코어 CPU에 비해 GPU 아키텍처가 히프만 인코딩 및 디코딩을 얼마나 빠르게 가속화할 수 있는가?
• RQ3 변동 길이 코드를 사용하는 손실 없는 압축 워크로드에서 분기 패tern과 메모리 접근 패턴이 GPU 성능에 어떤 영향을 미치는가?
• RQ4 GPU 기반 시스템에서 종단 간 압축 처리량에 있어 메모리 전송 오버헤드의 영향은 어떠한가?
• RQ5 실제 과학 계산 워크로드에서 GPU 가속이 손실 없는 압축에 실질적인 성능 향상을 제공할 수 있는가?

주요 결과

• NVIDIA GTX 285에서 GPU 기반 히프만 인코더는 메모리 전송 시간을 제외한 상태에서 4 GB/sec 이상의 순수 처리량을 달성했다.
• GPU가 CPU보다 코어 수가 60배 많음에도 불구하고, 커널 내 분기 분열로 인해 OpenMP CPU 인코더 대비 성능 향상은 보통 수준이었다.
• GPU 디코더는 인코더보다 더 높은 가속도를 달성했으며, 이는 덜 분기되는 연산과 더 나은 메모리 공유를 반영한 것이다.
• CPU 디코더는 스레드 수가 증가함에 따라 초선형적 성능 향상을 보였으며(최대 8개 스레드), 인텔의 하이퍼스레딩과 메모리 요청 숨김 기능 덕분이었다.
• 비동기 메모리 전송은 온라인 또는 스트리밍 압축 시나리오에서 I/O 병목 현상을 완화하는 데 도움이 된다.
• GPU 인코더는 CPU 대비 뛰어난 성능를 보였지만, 전체 시스템 처리량은 여전히 데이터 전송 오버헤드로 인해 제한되어 있어 현재 하드웨어로는 단독 사용은 비현실적이다.