[논문 리뷰] Read-Tuned STT-RAM and eDRAM Cache Hierarchies for Throughput and Energy Enhancement

Navid Khoshavi, Xunchao Chen외 2명|arXiv (Cornell University)|2016. 07. 27.

Parallel Computing and Optimization Techniques참고 문헌 25인용 수 15

한 줄 요약

이 논문은 기존의 SRAM 기반 L2 캐시를 대체하기 위해 유지보수 시간이 느슨한(STT-RAM)과 고유지속성(STT-RAM) 두 가지 구성으로 이루어진 하이브리드 STT-RAM 및 eDRAM 캐시 계층을 제안한다. 일반 요청에는 유지보수 시간이 느슨한(STT-RAM) 캐시(LRSC)를, 자주 액세스되고 읽기 재사용되는 블록에는 고유지속성(STT-RAM) 캐시(HRSC)를 사용한다. STT-RAM의 비버니셔성과 조절 가능한 유지보수 시간을 활용하여, PARSEC 벤치마크 전반에서 L2 읽기 미스 비율을 평균 51.4% 감소시키고 IPC를 11.7% 향상시키며, 기존의 SRAM 기반 설계에 비해 에너지 소비를 크게 낮춘다.

ABSTRACT

As capacity and complexity of on-chip cache memory hierarchy increases, the service cost to the critical loads from Last Level Cache (LLC), which are frequently repeated, has become a major concern. The processor may stall for a considerable interval while waiting to access the data stored in the cache blocks in LLC, if there are no independent instructions to execute. To provide accelerated service to the critical loads requests from LLC, this work concentrates on leveraging the additional capacity offered by replacing SRAM-based L2 with Spin-Transfer Torque Random Access Memory (STT-RAM) to accommodate frequently accessed cache blocks in exclusive read mode in favor of reducing the overall read service time. Our proposed technique partitions L2 cache into two STT-RAM arrangements with different write performance and data retention time. The retention-relaxed STT-RAM arrays are utilized to effectively deal with the regular L2 cache requests while the high retention STT-RAM arrays in L2 are selected for maintaining repeatedly read accessed cache blocks from LLC by incurring negligible energy consumption for data retention. Our experimental results show that the proposed technique can reduce the mean L2 read miss ratio by 51.4% and increase the IPC by 11.7% on average across PARSEC benchmark suite while significantly decreasing the total L2 energy consumption compared to conventional SRAM-based L2 design.

연구 동기 및 목표

• 확장된 워킹 세트로 인해 증가하는 Last Level Cache(LLC) 액세스로 인한 성능 및 에너지 오버헤드를 해결하기 위해.
• STT-RAM의 비버니셔성과 면적 효율성을 활용하여 L2 읽기 서비스 시간과 미스 비율을 감소시키기 위해.
• 고성능 요청에 대해 유지보수 시간이 느슨한 STT-RAM을 사용하고, 읽기 재사용 데이터에 대해 고유지속성 STT-RAM을 사용하여 L2 캐시의 에너지 소비를 최소화하기 위해.
• STT-RAM 기반 L2 캐시에서 쓰기 성능과 데이터 유지보존 간의 트레이드오프를 최적화하기 위해.
• 기존 프로세서 파이프라인과의 호환성을 유지하면서 고성능, 저에너지 L2 캐시 설계를 가능하게 하기 위해.

제안 방법

• L2 캐시를 두 개의 STT-RAM 어레이로 분할: 일반 요청에는 저유지보존 STT-RAM 캐시(LRSC)를, 자주 액세스되고 읽기 재사용되는 블록에는 고유지속성 STT-RAM 캐시(HRSC)를 사용한다.
• LLC에서 HRSC로 거대한 읽기 재사용 액세스(IRRA) 블록을 감지하고 자동으로 마이그레이션하는 현장 내 모니터링 메커니즘을 구현한다.
• LRSC에서 유지보수 시간을 느슨하게 하여 쓰기 성능을 향상시키고 쓰기 지연을 줄이며, SRAM 수준의 속도에 가까워진다.
• 설계 시점에 유지보수 시간을 조절하여 LRSC의 데이터 무결성을 유지하기 위해 리프레시 메커니즘을 적용한다.
• 접근 패턴을 추적하고 재사용 행동에 따라 LRSC와 HRSC 간에 데이터를 이동시키는 마이그레이션 정책을 적용한다.
• 성능와 에너지 효율성 간의 최적 트레이드오프를 도출하기 위해 LRSC와 HRSC의 다양한 구성 조합을 평가한다.

실험 결과

연구 질문

• RQ1 PARSEC 2.1 벤치마크 세트에서 읽기 재사용 캐시 블록의 분포가 L2 캐시 성능과 에너지 효율성에 미치는 영향은 무엇인가?
• RQ2 하이브리드 STT-RAM L2 캐시 설계는 면적 또는 에너지 오버헤드를 증가시키지 않으면서도 읽기 미스 비율을 감소시키고 읽기 서비스 시간을 향상시킬 수 있는가?
• RQ3 L2 캐시에서 쓰기 성능과 데이터 유지보존을 균형 잡기 위해 유지보수 시간이 느슨한 및 고유지속성 STT-RAM 어레이의 최적 구성은 무엇인가?
• RQ4 IRRA 블록을 HRSC로 현장 내 모니터링 및 자동 마이그레이션하는 것이 L2 읽기 미스를 줄이는 데 얼마나 효과적인가?
• RQ5 STT-RAM 기반 L2 캐시는 성능을 유지하거나 향상시키면서도 SRAM 기반 L2에 비해 전체 에너지 소비를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 읽기 참조 활동 지속 기술(RRAP)은 PARSEC 벤치마크 세트 전반에서 평균 L2 읽기 미스 비율을 51.4% 감소시킨다.
• 이 기술은 평균적으로 초당 명령어 수(IPC)를 11.7% 향상시켜 뚜렷한 성능 향상을 보여준다.
• STT-RAM의 거의 제로에 가까운 스탠바이 전력과 비버니셔성 덕분에 기존의 SRAM 기반 L2 설계에 비해 총 L2 에너지 소비가 크게 감소한다.
• LRSC에서 유지보수 시간이 느슨한 STT-RAM을 사용함으로써 쓰기 성능가 SRAM 수준에 가까워지며, 일반 캐시 요청에 대한 성능 저하를 최소화한다.
• HRSC 설계는 비버니셔성 덕분에 자주 액세스되고 읽기 재사용되는 블록을 거의 에너지 오버헤드 없이 효과적으로 유지한다.
• 실험적 평가 결과, 하이브리드 STT-RAM 및 eDRAM 캐시 계층은 SRAM 기반 L2와 유사한 면적을 차지하면서도 고성능과 고에너지 효율성을 달성한다.