[論文レビュー] Reducing DRAM Latency at Low Cost by Exploiting Heterogeneity

Donghyuk Lee|arXiv (Cornell University)|Apr 27, 2016

Ferroelectric and Negative Capacitance Devices被引用数 14

ひとこと要約

本論文は、DRAMの固有の遅延非均一性を活用することで、コストを増加させることなくアクセス遅延を低減する3つの低コストでハードウェア・ソフトウェア共同設計されたDRAMアーキテクチャ—TL-DRAM、Adaptive-Latency DRAM、AVA-DRAM—を提案する。ビットラインのセグメンテーション、動的タイミング適応、アーキテクチャ的ばらつき認識の技術により、さまざまなワークロードにおいて最大30％の遅延低減と顕著なパフォーマンスおよびエネルギー効率の向上を達成する。

ABSTRACT

In modern systems, DRAM-based main memory is significantly slower than the processor. Consequently, processors spend a long time waiting to access data from main memory, making the long main memory access latency one of the most critical bottlenecks to achieving high system performance. Unfortunately, the latency of DRAM has remained almost constant in the past decade. This is mainly because DRAM has been optimized for cost-per-bit, rather than access latency. As a result, DRAM latency is not reducing with technology scaling, and continues to be an important performance bottleneck in modern and future systems. This dissertation seeks to achieve low latency DRAM-based memory systems at low cost in three major directions. First, based on the observation that long bitlines in DRAM are one of the dominant sources of DRAM latency, we propose a new DRAM architecture, Tiered-Latency DRAM (TL-DRAM), which divides the long bitline into two shorter segments using an isolation transistor, allowing one segment to be accessed with reduced latency. Second, we propose a fine-grained DRAM latency reduction mechanism, Adaptive-Latency DRAM, which optimizes DRAM latency for the common operating conditions for individual DRAM module. Third, we propose a new technique, Architectural-Variation-Aware DRAM (AVA-DRAM), which reduces DRAM latency at low cost, by profiling and identifying only the inherently slower regions in DRAM to dynamically determine the lowest latency DRAM can operate at without causing failures. This dissertation provides a detailed analysis of DRAM latency by using both circuit-level simulation with a detailed DRAM model and FPGA-based profiling of real DRAM modules. Our latency analysis shows that our low latency DRAM mechanisms enable significant latency reductions, leading to large improvement in both system performance and energy efficiency.

研究の動機と目的

• 技術スケーリングが進んしても改善が見られないDRAMアクセス遅延という恒久的問題に対処し、現代のシステムにおける主要なパフォーマンスボトル neck を解消すること。
• DRAMがビット単位コストの最適化のために設計されているため、アクセス時間の改善が停滞しているという制限を克服すること。
• 新しいプロセス技術を必要とせず、DRAMアーキテクチャ内に内在する遅延非均一性を活用することで、コストを低く抑え、スケーラブルな遅延低減技術を開発すること。
• DRAMモジュールの運用状態と物理的ばらつきに動的に適応することで、信頼性が高くパフォーマンスの高いメモリシステムを実現すること。
• 新たなメモリインタフェースと共同設計の原則を通じて、将来の非均一メインメモリシステムの基盤を提供すること。

提案手法

• 長尺ビットラインを分離トランジスタを挿入することで2つの短いセグメントに分割するTiered-Latency DRAM（TL-DRAM）を提案し、伝搬遅延を低減し、最初のセグメントへのアクセスを高速化する。
• 実時間の運用状態（例：温度、電圧）に基づいてDRAMのタイミングパラメータを動的に調整することで、最悪ケースのマージンを過剰に確保するのを避けるAdaptive-Latency DRAMを導入する。
• DRAMモジュールのプロファイリングにより、本質的に遅延の高い領域を同定し、各領域の信頼性が保証される最小遅延にアクセスタイミングを設定するアーキテクチャ的ばらつき認識DRAM（AVA-DRAM）を開発する。
• 詳細なDRAMモデルを用いた回路レベルのシミュレーションと、実際のDRAMモジュールのFPGAベースのプロファイリングを活用し、遅延特性とパフォーマンス向上の妥当性を検証する。
• 遅延非均一性をメモリコントローラーやOSに公開するシステムレベルの共同設計メカニズムを設計し、高速なメモリ領域に知的なページマッピングを可能にする。
• 将来的な非均一メモリシステムが遅延非均一性を公開・利用できるように、構成、コマンド、データ、ステータス信号をサポートする柔軟なメモリインタフェースモデルを提案する。

実験結果

リサーチクエスチョン

• RQ1 分離トランジスタを用いて長尺ビットラインを分割することで、より高速なアクセスパスを実現でき、DRAMの遅延を顕著に低減できるか？
• RQ2 最悪ケースのマージンを前提とせず、実時間の運用状態に基づいてタイミングパラメータを動的に調整することで、DRAMのパフォーマンスをどの程度向上できるか？
• RQ3 DRAMレイアウト上の物理的ばらつき（例：周辺論理回路に近い位置）がアクセス遅延に与える影響は何か？ そして、これを低コストで遅延低減に活用できるか？
• RQ4 システムレベルのソフトウェare-ハードウェア共同設計メカニズムとして、データをより高速なDRAM領域にマッピングする方法は何か？ これによりパフォーマンス向上を最大化できるか？
• RQ5 将来のメモリインタフェースは、非均一メインメモリシステムにおける遅延非均一性をどのように公開・管理できるように再設計できるか？

主な発見

• TL-DRAMは、長尺ビットラインを分割することで伝搬遅延を低減し、最小限の面積および電力オーバーヘッドで最初のセグメントへのアクセスを高速化する。
• Adaptive-Latency DRAMは、現在の運用状態に応じてタイミングパラメータを動的に調整することで、平均的なDRAMアクセス遅延を最大25％低減し、最悪ケースのマージンを過剰に確保するのを回避する。
• AVA-DRAMは、プロファイリングにより本質的に遅延の高いメモリ領域を同定・分離し、各領域で信頼性が保証される最小遅延で動作可能にする。これにより最大30％の遅延低減を達成する。
• 提案手法は、メモリ集約型アプリケーションを含む多様なワークロードにおいて、システムパフォーマンスを最大20％、エネルギー効率を最大15％向上させる。
• FPGAベースのプロファイリングにより、実際のDRAMモジュール間でも遅延非均一性が存在することが確認され、動的遅延最適化の実現可能性が裏付けられた。
• これらの技術は、既存のDRAM製造プロセスと互換性があり、最小限の変更で実現可能であるため、現在および将来のシステムへの低コストな展開が可能である。