[論文レビュー] FIGARO: Improving System Performance via Fine-Grained In-DRAM Data Relocation and Caching

Yaohua Wang, Lois Orosa+9 more|arXiv (Cornell University)|Sep 17, 2020

Parallel Computing and Optimization Techniques参考文献 152被引用数 7

ひとこと要約

FIGAROは、共有グローバルバッファを活用してDRAMバンク内での細粒度で距離に依存しないデータ再配置を可能にする低オーバーヘッドなDRAMサブストレートを提案する。これにより、FIGCache—細粒度のDRAM内キャッシュ—は頻繁にアクセスされるデータブロックのみをキャッシュ可能となり、従来のDDR4システムに比べてDRAMの遅延と消費エネルギーをそれぞれ16.3%および7.8%削減する。

ABSTRACT

DRAM Main memory is a performance bottleneck for many applications due to the high access latency. In-DRAM caches work to mitigate this latency by augmenting regular-latency DRAM with small-but-fast regions of DRAM that serve as a cache for the data held in the regular-latency region of DRAM. While an effective in-DRAM cache can allow a large fraction of memory requests to be served from a fast DRAM region, the latency savings are often hindered by inefficient mechanisms for relocating copies of data into and out of the fast regions. Existing in-DRAM caches have two sources of inefficiency: (1) the data relocation granularity is an entire multi-kilobyte row of DRAM; and (2) because the relocation latency increases with the physical distance between the slow and fast regions, multiple fast regions are physically interleaved among slow regions to reduce the relocation latency, resulting in increased hardware area and manufacturing complexity. We propose a new substrate, FIGARO, that uses existing shared global buffers among subarrays within a DRAM bank to provide support for in-DRAM data relocation across subarrays at the granularity of a single cache block. FIGARO has a distance-independent latency within a DRAM bank, and avoids complex modifications to DRAM. Using FIGARO, we design a fine-grained in-DRAM cache called FIGCache. The key idea of FIGCache is to cache only small, frequently-accessed portions of different DRAM rows in a designated region of DRAM. By caching only the parts of each row that are expected to be accessed in the near future, we can pack more of the frequently-accessed data into FIGCache, and can benefit from additional row hits in DRAM. Our evaluations show that FIGCache improves the average performance of a system using DDR4 DRAM by 16.3% and reduces average DRAM energy consumption by 7.8% for 8-core workloads, over a conventional system without in-DRAM caching.

研究の動機と目的

• 現代のシステムにおける高いDRAMアクセス遅延が引き起こすパフォーマンスボトル neck を解消すること。
• 粗粒度の行単位のデータ再配置を採用する従来のDRAM内キャッシュにおける非効率性を克服すること。
• 高速・低速サブアレイの物理的インタリーブを必要としないことで、ハードウェアの複雑さと面積オーバーヘッドを低減すること。
• 既存の周辺回路を活用してDRAMバンク内での効率的かつ低遅延なデータ移行を実現すること。
• 多様なワークロードにわたってパフォーマンスとエネルギー効率を向上させる実用的でスケーラブルなDRAM内キャッシュ（FIGCache）を設計すること。

提案手法

• DRAMサブアレイに既存の共有グローバルローバッファを活用し、1つのキャッシュブロック（通常64B）の粒度でバンク内でのデータ移動を可能にする。
• グローバルローバッファネットワークを用いて、高速・低速サブアレイの物理的インタリーブを必要とせず、同じDRAMバンク内のサブアレイ間でデータを再配置する。
• 複数の行にまたがる頻繁にアクセスされるデータセグメントのみをキャッシュする細粒度のDRAM内キャッシュ（FIGCache）を実装する。
• グローバルバッファインfraを活用することで、元データと移動先のサブアレイ間の物理的距離に依存しない再配置遅延を実現する。
• 既存のメモリコントローラーと統合し、頻繁にアクセスされるデータブロックを同じ行に配置することでローバッファヒットの活用を促進する。
• 専用の高速サブアレイが存在しない状況でもキャッシュが可能であるように、従来の均質なDRAMバンクと後方互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 DRAMバンク内での細粒度のデータ再配置は、ハードウェア複雑性を増加させることなく、DRAM内キャッシュの遅延を低減し、パフォーマンスを向上させることができるか？
• RQ2 共有グローバルバッファを用いた距離に依存しないデータ再配置は、行単位の再配置と比較して、DRAM内キャッシュの効率性にどのような影響を与えるか？
• RQ3 FIGCacheは、非均質および均質なDRAMアーキテクチャの両方において、システムのパフォーマンスとエネルギー効率をどの程度向上させられるか？
• RQ4 異なるワークロードとシステムパラメータ下で、FIGCacheは最先端のDRAM内キャッシュ技術と比較してどのように差をつけるか？
• RQ5 FIGAROサブストレートは、商品化されたDRAM設計と互換性を持つ実用的で低オーバーヘッドなDRAM内キャッシュを実現できるか？

主な発見

• FIGCacheは、8コアワークロードにおいて、DRAM内キャッシュを備えない従来のDDR4システムに比べ、平均して16.3%のパフォーマンス向上を達成する。
• 同じ8コアワークロードにおいて、FIGCacheは平均してDRAM消費エネルギーを7.8%削減する。
• FIGCacheのパフォーマンス向上効果は、メモリアクセスパターンやワークロードの変化に関わらず広範なシステムパラメータで安定している。
• 物理的サブアレイインタリーブを回避する細粒度の再配置により、FIGCacheは最先端のDRAM内キャッシュ技術を上回る性能を発揮する。
• FIGAROサブストレートにより、DRAMバンク内での距離に依存しない再配置遅延が実現され、サブアレイ間の長い物理的距離に起因するパフォーマンスペナルティが解消される。
• FIGCacheは、従来の均質なDRAMバンクでも顕著な利点を示しており、効果的なDRAM内キャッシュの実現には専用の高速サブアレイが必須でないことを示している。