[論文レビュー] Practical Data Compression for Modern Memory Hierarchies

Gennady Pekhimenko|arXiv (Cornell University)|Sep 7, 2016

Parallel Computing and Optimization Techniques参考文献 149被引用数 3

ひとこと要約

本論文は、現代のメモリ階層に適した実用的でハードウェア支援型のデータ圧縮フレームワークを提示する。BΔI圧縮を用いて低遅延キャッシュ圧縮を実現し、キャッシュ置換の改善を図るサイズベース挿入ポリシー（SIP）を導入し、メインメモリ用に線形圧縮ページ（LCP）を設計した。オンチップキャッシュ、メインメモリ、インターコネクトにわたる圧縮の統合により、最小限のハードウェアおよびOSのオーバーヘッドで顕著な性能向上とエネルギー効率の向上を達成した。

ABSTRACT

In this thesis, we describe a new, practical approach to integrating hardware-based data compression within the memory hierarchy, including on-chip caches, main memory, and both on-chip and off-chip interconnects. This new approach is fast, simple, and effective in saving storage space. A key insight in our approach is that access time (including decompression latency) is critical in modern memory hierarchies. By combining inexpensive hardware support with modest OS support, our holistic approach to compression achieves substantial improvements in performance and energy efficiency across the memory hierarchy. Using this new approach, we make several major contributions in this thesis. First, we propose a new compression algorithm, Base-Delta-Immediate Compression (BDI), that achieves high compression ratio with very low compression/decompression latency. BDI exploits the existing low dynamic range of values present in many cache lines to compress them to smaller sizes using Base+Delta encoding. Second, we observe that the compressed size of a cache block can be indicative of its reuse. We use this observation to develop a new cache insertion policy for compressed caches, the Size-based Insertion Policy (SIP), which uses the size of a compressed block as one of the metrics to predict its potential future reuse. Third, we propose a new main memory compression framework, Linearly Compressed Pages (LCP), that significantly reduces the complexity and power cost of supporting main memory compression. We demonstrate that any compression algorithm can be adapted to fit the requirements of LCP, and that LCP can be efficiently integrated with the existing cache compression designs, avoiding extra compression/decompression.

研究の動機と目的

• メモリ容量と帯域幅の増大するボトルneckを解消するため、メモリ階層全体にわたりハードウェアベースのデータ圧縮を統合すること。
• 高い遅延を伴い、リアルタイムのメモリアクセスに不適切な従来のソフトウェア圧縮の限界を克服すること。
• 既存のCPUおよびGPUメモリシステムと互換性を持つ、低遅延かつ高圧縮比の技術を開発すること。
• 性能の低下や複雑性の増加を伴わずに、メインメモリおよびオンチップキャッシュにおける効率的でスケーラブルな圧縮を実現すること。
• 新興の非揮発性メモリ技術および機械学習やバイオインフォマティクスなどのデータ集約型ワークロードへも応用可能なアプローチを拡張すること。

提案手法

• キャッシュラインにおける低い動的レンジを活用し、ベース＋デルタ符号化を用いることで、高圧縮比かつ最小限の遅延で実現可能なベース・デルタ・インスタント（BΔI）圧縮を提案する。
• 圧縮ブロックサイズをヒューリスティックとして用い、将来の再利用性を予測し、キャッシュ挿入意思決定を支援するサイズベース挿入ポリシー（SIP）を導入する。
• 複雑性と消費電力を低減するため、効率的でハードウェア管理の圧縮が可能な線形圧縮ページ（LCP）というメインメモリ圧縮フレームワークを設計する。
• 既存のキャッシュ圧縮設計とLCPを統合することで、重複する圧縮／解処理を回避し、エンドツーエンドの効率性を確保する。
• GPUワークロードに適応させ、GPUメモリ階層における新たな課題を同定し、それに対する解決策を提案する。
• 長時間のアクセス遅延を許容できるため、非揮発性メモリ技術（例：PCM、STT-MRAM）および近似計算ワークロードへの拡張性を確保し、より積極的な圧縮を可能にする。

実験結果

リサーチクエスチョン

• RQ1 厳密な遅延制約を伴う現代のメモリ階層において、ハードウェアベースのデータ圧縮を実用化するにはどうすればよいか？
• RQ2 圧縮キャッシュにおいて、圧縮ブロックサイズは将来の再利用性を信頼できる指標として機能するか？
• RQ3 低ハードウェア複雑性と最小限の性能影響で、メインメモリ圧縮をどのように実装できるか？
• RQ4 GPUメモリシステムへのハードウェア圧縮適用における主な課題は何か。それらはどのように解決できるか？
• RQ5 圧縮技術は、新興の非揮発性メモリ技術および近似計算ワークロードへどの程度まで拡張可能か？

主な発見

• BΔI圧縮は極めて低い圧縮／解処理遅延を実現し、オンチップキャッシュに適した高圧縮比を達成した。
• サイズベース挿入ポリシー（SIP）は、圧縮ブロックサイズを再利用予測子として用いることで、従来の置換ポリシーを上回るキャッシュ性能を実現した。
• 線形圧縮ページ（LCP）は、メインメモリ圧縮の複雑性と電力コストを低減するとともに、既存のキャッシュ圧縮メカニズムとの効率的統合を可能にした。
• 提案されたフレームワークにより、メモリ階層全体で有効メモリ容量、帯域幅、エネルギー効率に顕著な向上が達成された。
• 非揮発性メモリ技術への応用は拡張可能であり、より長いアクセス遅延を許容できるため、さらに高い容量増大効果が得られる。
• 初期の結果から、コンパイル時または実行時におけるメモリレイアウトの再編成により、混合型データ構造の圧縮可能性が顕著に向上する可能性が示された。