[論文レビュー] Simple DRAM and Virtual Memory Abstractions to Enable Highly Efficient Memory Systems

Vivek Seshadri|arXiv (Cornell University)|May 20, 2016

Parallel Computing and Optimization Techniques参考文献 13被引用数 21

ひとこと要約

本論文は、メモリ粒度の不一致に起因する現代のメモリサブシステム内の非効率を解消するための新規ハードウェアおよびシステムレベルの技術群を提案する。細粒度仮想メモリ管理のためのページオーバーレイ、DRAM内でのデータ操作のためのRowCloneおよびBuddy RAM、ストライドアクセシスの最適化のためのGS-DRAM、および効率的なキャッシュ一貫性のためのダーティブロックインデックスを導入することにより、主要なメモリ操作において最大10倍の性能およびエネルギー効率の向上を達成した。

ABSTRACT

In most modern systems, the memory subsystem is managed and accessed at multiple different granularities at various resources. We observe that such multi-granularity management results in significant inefficiency in the memory subsystem. Specifically, we observe that 1) page-granularity virtual memory unnecessarily triggers large memory operations, and 2) existing cache-line granularity memory interface is inefficient for performing bulk data operations and operations that exhibit poor spatial locality. To address these problems, we present a series of techniques in this thesis. First, we propose page overlays, a framework augments the existing virtual memory framework with the ability to track a new version of a subset of cache lines within each virtual page. We show that this extension is powerful by demonstrating its benefits on a number of applications. Second, we show that DRAM can be used to perform more complex operations than just store data. We propose RowClone, a mechanism to perform bulk data copy and initialization completely inside DRAM, and Buddy RAM, a mechanism to perform bulk bitwise operations using DRAM. Both these techniques achieve an order-of-magnitude improvement in the efficiency of the respective operations. Third, we propose Gather-Scatter DRAM, a technique that exploits DRAM organization to effectively gather/scatter values with a power-of-2 strided access patterns. For these access patterns, GS-DRAM achieves near-ideal bandwidth and cache utilization, without increasing the latency of fetching data from memory. Finally, we propose the Dirty-Block Index, a new way of tracking dirty blocks. In addition to improving the efficiency of bulk data coherence, DBI has several applications including high-performance memory scheduling, efficient cache lookup bypassing, and enabling heterogeneous ECC.

研究の動機と目的

• ワード、キャッシュライン、ページ、ロウといった複数の不一致するメモリ粒度（word, cache line, page, row）に起因する現代のメモリサブシステム内の非効率を解消すること。
• コピーおよび初期化などのバルクメモリ操作における不要なデータ移動、帯域幅、エネルギー消費を低減すること。
• キャッシュ効率を低下させる非ユニットストライドアクセシスパターンにおけるパフォーマンスの向上。
• ダーティキャッシュブロックの管理を効率的かつ低コストで行い、一貫性およびスケジューリングを改善すること。
• 将来の非揮発性メモリ技術へも適用可能なメモリ内計算および管理技術の適用範囲を拡大すること。

提案手法

• ページオーバーレイの提案：キャッシュラインレベルでのサブページ更新を追跡する仮想メモリ拡張技術であり、ページ単位のオーバーヘッドを伴わずに細粒度メモリ管理を可能にする。
• RowCloneの導入：ロウレベルの操作を用いてDRAM内部でバルクデータコピーおよび初期化を直接実行するメカニズムであり、外部メモリへのデータ移動を完全に排除する。
• Buddy RAMの設計：ビットラインにおけるアナログ操作を用いて、XORやANDなどのバルクビット単位論理演算をDRAM内で実行する技術。
• Gather-Scatter DRAM（GS-DRAM）の開発：DRAMモジュールの構成を活用して、2の累乗ストライドアクセシスパターンにおけるデータの集約または分散を効率的に実行する方法。
• ダーティブロックインデックス（DBI）の提案：オンチップキャッシュ内のダーティブロックの追跡方法を再設計し、一貫性およびスケジューリングのための高速かつ効率的な照会を可能にする。
• これらの技術の将来のメモリ技術、特に非揮発性メモリへの拡張可能性を、その下位のアーキテクチャ的原則を分析することで実証する。

実験結果

リサーチクエスチョン

• RQ1 仮想メモリをサブページ粒度まで拡張可能か。その際、ソフトウェア的・ハードウェア的コストが著しく増加しないか。
• RQ2 DRAMを用いて複雑なデータ操作（例：コピー、論理演算）を直接実行可能か。これにより、外部へのデータ移動を削減できるか。
• RQ3 ユニットストライドでないアクセシスパターンを、帯域幅を損なわず、遅延を増加させることなく効率的にサポート可能か。
• RQ4 ダーティキャッシュブロックの管理を再設計することで、一貫性プロトコルの効率を向上させ、新たなスケジューリング最適化を可能にできるか。
• RQ5 提案されたメモリ内計算および管理技術は、将来の非揮発性メモリ技術へ一般化可能か。

主な発見

• ページオーバーレイは、サブページ更新を可能にすることでコピーオンライト操作のコストを低減し、小さな変更に対しては完全なページコピーを不要にする。
• RowCloneは、これらの操作を完全にDRAM内でするため、バルクデータコピーおよび初期化において最大10倍のパフォーマンスおよびエネルギー効率の向上を達成する。
• Buddy RAMは、DRAM内で効率的なバルクビット単位論理演算（例：XOR）を実行可能にし、ホストベースの計算と比較してエネルギーと遅延を削減する。
• GS-DRAMは、2の累乗ストライドアクセシスパターンにおいて理論的限界に近い帯域幅およびキャッシュ利用効率を達成し、メモリ遅延を増加させることなく実現する。
• ダーティブロックインデックス（DBI）は、高速かつスケーラブルなダーティブロック照会を可能にし、一貫性プロトコルの効率を向上させるとともに、高性能なメモリスケジューリングおよびキャッシュバイパスを支援する。
• 提案された技術は非揮発性メモリ技術へも拡張可能であり、将来のメモリ階層におけるより広範な適用可能性を示唆している。