[論文レビュー] Read-Tuned STT-RAM and eDRAM Cache Hierarchies for Throughput and Energy Enhancement

Navid Khoshavi, Xunchao Chen+2 more|arXiv (Cornell University)|Jul 27, 2016

Parallel Computing and Optimization Techniques参考文献 25被引用数 15

ひとこと要約

本稿では、従来のSRAMベースのL2キャッシュに代わる、ハイブリッドなSTT-RAMとeDRAMキャッシュ階層を提案する。この手法は、通常のリクエスト用にリテンションが緩い（LRSC）とし、頻繁にアクセスされ再利用されるブロック用に高リテンション（HRSC）の2種類のSTT-RAM構成を用いる。STT-RAMの非バースト性とリテンションの調整可能性を活用することで、PARSECベンチマーク全体で平均してL2リードミス率を51.4%削減し、IPCを11.7%向上させる。また、SRAMベースの設計と比較して顕著にエネルギー消費を低減する。

ABSTRACT

As capacity and complexity of on-chip cache memory hierarchy increases, the service cost to the critical loads from Last Level Cache (LLC), which are frequently repeated, has become a major concern. The processor may stall for a considerable interval while waiting to access the data stored in the cache blocks in LLC, if there are no independent instructions to execute. To provide accelerated service to the critical loads requests from LLC, this work concentrates on leveraging the additional capacity offered by replacing SRAM-based L2 with Spin-Transfer Torque Random Access Memory (STT-RAM) to accommodate frequently accessed cache blocks in exclusive read mode in favor of reducing the overall read service time. Our proposed technique partitions L2 cache into two STT-RAM arrangements with different write performance and data retention time. The retention-relaxed STT-RAM arrays are utilized to effectively deal with the regular L2 cache requests while the high retention STT-RAM arrays in L2 are selected for maintaining repeatedly read accessed cache blocks from LLC by incurring negligible energy consumption for data retention. Our experimental results show that the proposed technique can reduce the mean L2 read miss ratio by 51.4% and increase the IPC by 11.7% on average across PARSEC benchmark suite while significantly decreasing the total L2 energy consumption compared to conventional SRAM-based L2 design.

研究の動機と目的

• 拡大するワーキングセットに起因する頻繁なLast Level Cache（LLC）アクセスに起因する性能およびエネルギーの増加を是正すること。
• STT-RAMの非バースト性と面積効率を活用して、L2リードサービスタイムとミス率を低減すること。
• 高スループットのリクエストにはリテンションが緩いSTT-RAMを、リード再利用データには高リテンションSTT-RAMを用いることで、L2キャッシュのエネルギー消費を最小限に抑えること。
• STT-RAMベースのL2キャッシュにおける、書き込み性能とデータリテンションのトレードオフを最適化すること。
• 従来のプロセッサパイプラインと互換性を保ちつつ、高性能で低エネルギーなL2キャッシュ設計を実現すること。

提案手法

• L2キャッシュを2つのSTT-RAMアレイに分割：通常のリクエスト用に低リテンションSTT-RAMキャッシュ（LRSC）、頻繁にアクセスされ再利用されるブロック用に高リテンションSTT-RAMキャッシュ（HRSC）。
• LLCからHRSCへ、巨大リード再利用アクセス（IRRA）ブロックを検出し、自律的に移行するイン・サイト監視メカニズムを実装する。
• LRSCにおけるリテンション緩和を活用し、書き込み性能を向上させ、書き込み遅延を低減し、SRAMレベルの速度に近づける。
• 設計時においてリテンション時間を調整することで、LRSCにおけるデータ整合性を維持するリフレッシュメカニズムを適用する。
• アクセスパターンを追跡し、再利用行動に応じてLRSCとHRSCの間でデータを移行するポリシーを採用する。
• 性能とエネルギー効率のトレードオフを特定するため、LRSCとHRSCの複数の構成を評価する。

実験結果

リサーチクエスチョン

• RQ1 PARSEC 2.1ベンチマークスイートにおけるリード再利用キャッシュブロックの分布が、L2キャッシュのパフォーマンスおよびエネルギー効率に与える影響は何か？
• RQ2 ハイブリッドなSTT-RAM L2キャッシュ設計は、面積やエネルギーの追加コストを増やさずに、リードミス率を低減し、リードサービスタイムを改善できるか？
• RQ3 L2キャッシュにおける書き込み性能とデータリテンションのバランスを最適化するための、リテンションが緩いおよび高リテンションSTT-RAMアレイの最適な構成は何か？
• RQ4 IRRAブロックをHRSCへイン・サイト監視と自律移行することで、L2リードミスをどの程度低減できるか？
• RQ5 STT-RAMベースのL2キャッシュは、パフォーマンスを維持または向上させつつ、SRAMベースのL2と比較して全体のエネルギー消費をどの程度低減できるか？

主な発見

• 提案されたリードリファレンスアクティビティパーゼント（RRAP）技術により、PARSECベンチマークスイート全体で平均してL2リードミス率が51.4%削減された。
• この技術により、平均してIPCが11.7%向上し、顕著なパフォーマンス向上が確認された。
• STT-RAMのほぼゼロのスタンバイパワーと非バースト性のおかげで、従来のSRAMベースのL2設計と比較して、L2の総エネルギー消費が顕著に低減された。
• LRSCにおけるリテンションが緩いSTT-RAMの使用により、書き込み性能がSRAMに近く、通常のキャッシュリクエストにおけるパフォーマンス劣化が最小限に抑えられた。
• HRSC設計は、非バースト性のおかげで、頻繁にアクセスされリード再利用されるブロックを、ほとんどエネルギーコストをかけずに効果的に維持できた。
• 実験的評価により、ハイブリッドなSTT-RAMとeDRAMキャッシュ階層が、SRAMベースのL2と同等のフットプリント内で、高いパフォーマンスとエネルギー効率を達成していることが確認された。