[논문 리뷰] Practical Data Compression for Modern Memory Hierarchies

Gennady Pekhimenko|arXiv (Cornell University)|2016. 09. 07.

Parallel Computing and Optimization Techniques참고 문헌 149인용 수 3

한 줄 요약

이 논문은 현대 메모리 계층 구조를 대상으로 실용적이고 하드웨어 지원 기반의 데이터 압축 프레임워크를 제안하며, 저지연 캐시 압축을 위한 BΔI 압축, 캐시 교체를 향상시키기 위한 크기 기반 삽입 정책(SIP), 주 메모리용 선형 압축 페이지(LCP)를 도입한다. 캐시, 주 메모리, 인터커넥트에 걸쳐 압축을 통합함으로써 최소한의 하드웨어 및 운영체제 오버헤드로 성능과 에너지 효율을 크게 향상시킨다.

ABSTRACT

In this thesis, we describe a new, practical approach to integrating hardware-based data compression within the memory hierarchy, including on-chip caches, main memory, and both on-chip and off-chip interconnects. This new approach is fast, simple, and effective in saving storage space. A key insight in our approach is that access time (including decompression latency) is critical in modern memory hierarchies. By combining inexpensive hardware support with modest OS support, our holistic approach to compression achieves substantial improvements in performance and energy efficiency across the memory hierarchy. Using this new approach, we make several major contributions in this thesis. First, we propose a new compression algorithm, Base-Delta-Immediate Compression (BDI), that achieves high compression ratio with very low compression/decompression latency. BDI exploits the existing low dynamic range of values present in many cache lines to compress them to smaller sizes using Base+Delta encoding. Second, we observe that the compressed size of a cache block can be indicative of its reuse. We use this observation to develop a new cache insertion policy for compressed caches, the Size-based Insertion Policy (SIP), which uses the size of a compressed block as one of the metrics to predict its potential future reuse. Third, we propose a new main memory compression framework, Linearly Compressed Pages (LCP), that significantly reduces the complexity and power cost of supporting main memory compression. We demonstrate that any compression algorithm can be adapted to fit the requirements of LCP, and that LCP can be efficiently integrated with the existing cache compression designs, avoiding extra compression/decompression.

연구 동기 및 목표

• 메모리 용량과 대역폭의 증가하는 제약을 해결하기 위해 메모리 계층 전반에 걸쳐 하드웨어 기반 데이터 압축을 통합한다.
• 고지연과 실시간 메모리 액세스에 부적합한 기존 소프트웨어 압축의 한계를 극복한다.
• 기존 CPU 및 GPU 메모리 시스템과 호환되는 저지연, 고압축 기술을 개발한다.
• 성능 저하 없이 복잡성 증가 없이 주 메모리와 온칩 캐시에서 효율적이고 확장 가능한 압축을 가능하게 한다.
• 신개념 비버니시브 메모리 기술과 데이터 집약적 워크로드(예: 머신러닝, 바이오인포매틱스)로의 확장성을 고려한다.

제안 방법

• 기본값 + 델타 인코딩을 활용해 캐시 라인의 낮은 동적 범위를 활용하는 Base-Delta-Immediate(BΔI) 압축을 제안하여 고압축률과 최소한의 지연을 달성한다.
• 압축 블록 크기를 히وري스틱으로 사용해 향후 재사용 가능성을 예측하고 캐시 삽입 결정을 이끄는 크기 기반 삽입 정책(SIP)을 도입한다.
• 복잡성과 전력 소모를 줄이기 위해 효율적이고 하드웨어 기반으로 관리되는 압축을 가능하게 하는 주 메모리 압축 프레임워크인 선형 압축 페이지(LCP)를 설계한다.
• 기존 캐시 압축 설계와 LCP를 통합하여 중복 압축/해제를 방지하고 종단 간 효율성을 확보한다.
• GPU 워크로드에 맞게 압축 프레임워크를 적응시켜 GPU 메모리 계층에서의 새로운 과제를 식별하고 해결책을 제안한다.
• 장기적인 액세스 지연을 허용하는 더 강력한 압축이 가능한 비버니시브 메모리 기술(예: PCM, STT-MRAM)과 약간의 계산 워크로드에 대한 확장성을 지원하기 위해 압축 프레임워크를 유연하게 조정한다.

실험 결과

연구 질문

• RQ1 엄격한 지연 제약 조건이 있는 현대 메모리 계층 구조에서 하드웨어 기반 데이터 압축을 어떻게 실용적으로 적용할 수 있는가?
• RQ2 압축된 캐시에서 블록 크기로 향후 재사용 가능성을 신뢰할 수 있는 예측자로 사용할 수 있는가?
• RQ3 낮은 하드웨어 복잡성과 최소한의 성능 영향으로 주 메모리 압축을 어떻게 구현할 수 있는가?
• RQ4 GPU 메모리 시스템에 하드웨어 압축을 적용할 때의 주요 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 압축 기술을 얼마나 넓게 비버니시브 메모리 기술과 약간의 계산 워크로드로 확장할 수 있는가?

주요 결과

• BΔI 압축은 극도로 낮은 압축/해제 지연으로 높은 압축률을 달성하여 온칩 캐시에 적합하다.
• 크기 기반 삽입 정책(SIP)은 압축 블록 크기를 재사용 예측자로 사용함으로써 기존의 교체 정책을 능가하는 캐시 성능 향상을 이룬다.
• 선형 압축 페이지(LCP)는 주 메모리 압축의 복잡성과 전력 소모를 줄이며, 기존 캐시 압축 메커니즘과의 효율적 통합을 가능하게 한다.
• 제안된 프레임워크는 메모리 계층 전반에서 효과적인 메모리 용량, 대역폭, 에너지 효율을 크게 향상시킨다.
• 비버니시브 메모리 기술로의 확장성은 더 긴 액세스 지연을 허용함으로써 더욱 강력한 압축이 가능하고, 이로 인해 용량 증가 효과가 더욱 크다.
• 초기 결과는 컴파일 또는 런타임에 메모리 레이아웃을 재구성하여 유사한 값 유형을 그룹화함으로써 혼합형 데이터 구조의 압축 가능성 향상 잠재력을 뚜렷이 보여준다.