[논문 리뷰] A Cache Reconfiguration Approach for Saving Leakage and Refresh Energy in Embedded DRAM Caches

Sparsh Mittal|arXiv (Cornell University)|2013. 09. 26.

Parallel Computing and Optimization Techniques참고 문헌 22인용 수 11

한 줄 요약

이 논문은 임베디드 DRAM(eDRAM) 캐시에 대해 비활성 캐시 영역을 선택적으로 꺼내고 활성 영역에서만 유효한 데이터를 새로 고침하여 누설 및 새로 고침 에너지를 줄이는 동적 캐시 재구성 기법을 제안한다. 이 기법은 기준 eDRAM 캐시 대비 40 µs 새로 고침 주기에서 평균 22.8%의 에너지 절감을 달성하며, Refrint polyphase-valid(RPV)과 같은 이전 기법보다 에너지 효율성에서 9.3%포인트, 성능 향상에서 3.8%포인트 우수하다.

ABSTRACT

In recent years, the size and leakage energy consumption of large last level caches (LLCs) has increased. To address this, embedded DRAM (eDRAM) caches have been considered which have lower leakage energy consumption; however eDRAM caches consume a significant amount of energy in the form of refresh energy. In this paper, we present a technique for saving both leakage and refresh energy in eDRAM caches. We use dynamic cache reconfiguration approach to intelligently turn-off part of the cache to save leakage energy and refresh only valid data of the active (i.e. not turned-off) cache to save refresh energy. We evaluate our technique using an x86-64 simulator and SPEC2006 benchmarks and compare it with a recently proposed technique for saving refresh energy, named Refrint. The experiments have shown that our technique provides better performance and energy efficiency than Refrint. Using our technique, for a 2MB LLC and 40 micro-seconds eDRAM refresh period, the average saving in energy over eDRAM baseline (which periodically refreshes all cache lines) is 22.8%.

연구 동기 및 목표

• eDRAM 기반 설계에서 짧은 유지 시간(예: 40 µs)으로 인해 높은 누설 및 새로 고침 에너지로 인해 증가하는 대규모 최종 레벨 캐시(LLC)의 에너지 소비 문제를 해결한다.
• SRAM에 비해 더 낮은 누설을 가지지만, eDRAM 캐시는 짧은 유지 시간으로 인해 새로 고침 작업으로 인해 전체 에너지의 최대 70%를 소비할 수 있다는 한계를 극복한다.
• 오프라인 프로파일링이나 수동 튜닝이 필요 없는 런타임 소프트웨어 주도 기법을 개발하여 캐시를 동적으로 재구성함으로써 에너지 소비를 최소화한다.
• 활성 캐시 사용, 누설 감소, 새로 고침 에너지 절감 간의 지능적인 균형을 통해 에너지 효율성과 성능을 동시에 향상시킨다.
• 기술적 스케일링이 더욱 심화되는 미래 기술에서 새로 고침 주기가 더욱 짧아질 경우에도 eDRAM 캐시가 SRAM LLC의 실용적이고 에너지 효율적인 대안이 될 수 있음을 입증한다.

제안 방법

• 실시간으로 프로그램 동작을 모니터링하고 다양한 캐시 구성에서의 에너지 소비를 추정하기 위해 동적 프로파일링을 사용한다.
• 예측된 에너지 절감량을 바탕으로 주기적으로 평가하고 가장 에너지 효율적인 캐시 구성으로 전환하는 경량 하드웨어 지원 알고리즘을 적용한다.
• 비활성 캐시 뱅크를 비활성화(꺼내는 방식)하여 누설 에너지를 줄이고, 데이터 접근을 위해 오직 활성 뱅크만 유지하는 캐시 재구성 메커니즘을 적용한다.
• 활동 영역에만 새로 고침을 제한함으로써 새로 고침 에너지를 줄이며, 이는 더 작은 활성 영역이므로 더 적은 새로 고침 사이클을 요구한다.
• 외부 메모리 트래픽을 최소화함으로써 성능을 유지하며, 평균 MPKI(1,000만 명령어당 미스 수) 증가율이 0.42에 불과하여 캐시 미스율에 미치는 영향이 매우 낮다.
• 에너지 추정 과정에서 주요 메모리까지 포함한 전체 프로세서 시스템을 고려함으로써 캐시 외부의 에너지 최적화도 가능하게 한다.

실험 결과

연구 질문

• RQ1 동적 캐시 재구성은 성능 저하 없이 eDRAM 캐시의 누설 및 새로 고침 에너지를 얼마나 줄일 수 있는가?
• RQ2 Refrint polyphase-valid(RPV)과 같은 최신 새로 고침 에너지 절감 기법과 비교할 때, 제안된 기법은 에너지 절감과 성능 측면에서 어떤가?
• RQ3 eDRAM 새로 고침 주기가 감소함에 따라(예: 40 µs 대비 30 µs), 제안된 기법의 에너지 효율성은 어떻게 변하는가? 이는 향후 기술 스케일링을 반영한다.
• RQ4 주기적인 캐시 재구성은 외부 메모리 액세스 증가(예: MPKI 증가) 측면에서 성능에 어떤 영향을 미치는가?
• RQ5 새로 고침 에너지를 고려할 때, 유지 시간이 짧아지는 상황에서 eDRAM 캐시의 에너지 효율성은 SRAM 캐시와 비교해 어떻게 되는가?

주요 결과

• 제안된 기법은 40 µs 새로 고침 주기에서 기준 eDRAM 캐시 대비 평균 22.8%의 에너지 절감을 달성하며, RPV는 단지 13.5% 절감에 그친다.
• 기준 eDRAM 캐시 대비 성능은 9.7% 향상되었고, RPV는 5.9% 향상되었으며, 이는 에너지 절감과 함께 성능을 유지하거나 향상시킬 수 있음을 시사한다.
• RPV 대비 평균 RPKI(1,000만 명령어당 새로 고침 수)는 252.3 감소한 반면 RPV는 66.4에 머물렀으며, 더 큰 활성 캐시 감소로 인해 새로 고침 에너지 절감이 뛰어나다는 것을 입증한다.
• 30 µs 새로 고침 주기에서는 제안 기법이 27.9%의 에너지 절감을 달성한 반면 RPV는 16.0%에 머물렀으며, 새로 고침 주기가 짧아질수록 새로 고침 에너지 부담이 커지므로 제안 기법의 우월성이 더욱 두드러진다.
• 평균 MPKI 증가율은 단지 0.42에 불과하여, 주기적인 재구성에도 불구하고 성능에 미치는 영향은 극히 미미하다.
• eDRAM의 낮은 누설에도 불구하고 새로 고침 주기가 30 µs로 줄어들면 SRAM가 eDRAM보다 에너지 효율성이 높게 나타나며, 이는 SRAM이 eDRAM 대비 에너지 소비가 단지 2.3% 더 많을 뿐이지만, 40 µs일 때는 22.2% 더 많았다. 이는 새로 고침 에너지가 체계적 설계에서의 주요 고려 사항임을 강조한다.