[논문 리뷰] Enabling Efficient Dynamic Resizing of Large DRAM Caches via A Hardware Consistent Hashing Mechanism

Kevin K. Chang, Gabriel H. Loh외 7명|arXiv (Cornell University)|2016. 02. 01.

Caching and Content Delivery참고 문헌 32인용 수 5

한 줄 요약

이 논문은 대규모 디스플레이 스택 DRAM 캐시의 동적 크기 조정을 가능하게 하기 위해 일관된 해싱에 영감을 얻은 하드웨어 효율적인 데이터 리맵핑 기법인 CRUNCH을 제안한다. 전원이 꺼진 뱅크에서 활성 뱅크로만 세트를 리맵핑하므로 전이 지연이 낮고 로드 밸런싱이 뛰어나며, 캐시 크기 조정 중 성능 저하 없이도 상당한 에너지 절감을 달성한다.

ABSTRACT

Die-stacked DRAM has been proposed for use as a large, high-bandwidth, last-level cache with hundreds or thousands of megabytes of capacity. Not all workloads (or phases) can productively utilize this much cache space, however. Unfortunately, the unused (or under-used) cache continues to consume power due to leakage in the peripheral circuitry and periodic DRAM refresh. Dynamically adjusting the available DRAM cache capacity could largely eliminate this energy overhead. However, the current proposed DRAM cache organization introduces new challenges for dynamic cache resizing. The organization differs from a conventional SRAM cache organization because it places entire cache sets and their tags within a single bank to reduce on-chip area and power overhead. Hence, resizing a DRAM cache requires remapping sets from the powered-down banks to active banks. In this paper, we propose CRUNCH (Cache Resizing Using Native Consistent Hashing), a hardware data remapping scheme inspired by consistent hashing, an algorithm originally proposed to uniformly and dynamically distribute Internet traffic across a changing population of web servers. CRUNCH provides a load-balanced remapping of data from the powered-down banks alone to the active banks, without requiring sets from all banks to be remapped, unlike naive schemes to achieve load balancing. CRUNCH remaps only sets from the powered-down banks, so it achieves this load balancing with low bank power-up/down transition latencies. CRUNCH's combination of good load balancing and low transition latencies provides a substrate to enable efficient DRAM cache resizing.

연구 동기 및 목표

• 동적 캐시 크기 조정 중 전원이 꺼진 DRAM 캐시 뱅크에서 활성 뱅크로 데이터 리맵핑 문제를 해결한다.
• 일반적인 리맵핑 기법이 핫스팟을 생성하거나 전체 데이터 마이그레이션을 요구함으로써 발생하는 성능 및 에너지 오버헤드를 극복한다.
• 워크로드 수요에 따라 활성 뱅크 수를 동적으로 조정함으로써 전력 제약이 있는 시스템에서 에너지 효율적인 DRAM 캐싱을 가능하게 한다.
• 대규모 디스플레이 스택 캐시 아키텍처에 실용적인 동적 캐시 크기 조정을 위한 저지연, 로드 밸런싱 솔루션을 제공한다.
• DRAM 캐시의 고유한 구성(전체 세트가 단일 뱅크에 매핑됨)에 맞게 설계된 새로운 하드웨어 메커니즘을 도입한다.

제안 방법

• 원래 분산 웹 로드 밸런싱에 사용된 일관된 해싱 알고리즘을 변형하여, 전원이 꺼진 뱅크에서 활성 뱅크로 캐시 세트를 균형 잡힌 방식으로 리맵핑한다.
• 각 캐시 세트를 가상 해싱 링 상의 위치에 매핑하며, 여기에 뱅크도 위치시켜 전원이 꺼진 뱅크의 세트만 리맵핑되도록 보장한다.
• 리맵핑 오버헤드를 최소화하고 활성 뱅크의 세트를 다시 매핑하지 않도록 하기 위해 네이티브 하드웨어 일관된 해싱 메커니즘을 사용한다.
• 전체 뱅크 전환 프로토콜을 구현하여 비활성 뱅크의 세트만 리맵핑하도록 하여 전이 지연과 에너지 소비를 감소시킨다.
• 캐시 컨트롤러 내부에 해싱 링 매핑과 뱅크 상태 정보를 직접 저장하는 하드웨어 친화적인 데이터 구조를 설계한다.
• 기존 DRAM 캐시 구성과의 후행 호환성을 확보하기 위해 단일 뱅크당 세트 매핑 방식을 유지하면서도 동적 뱅크 관리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 전체 세트가 단일 뱅크에 매핑되는 DRAM 캐시에서 동적 크기 조정 시 데이터 리맵핑을 어떻게 효율적으로 구현할 수 있는가?
• RQ2 일관된 해싱을 하드웨어 메커니즘으로 변형하여 리맵핑 오버헤드를 최소화하고 크기 조정 중 로드 밸런싱을 유지할 수 있는가?
• RQ3 DRAM 캐시 크기 조정 기법에서 전이 지연, 에너지 소비, 안정 상태 성능 간의 트레이드오���이는 무엇인가?
• RQ4 CRUNCH은 일반적인 리맵핑 기법에 비해 캐시 크기 조정 중 성능과 에너지 효율성에서 어떤가?
• RQ5 하드웨어 기반의 일관된 해싱 메커니즘은 대규모 DRAM 캐시에서 저비용 전이 비용과 양호한 로드 밸런싱을 동시에 달성할 수 있는가?

주요 결과

• CRUNCH는 모듈로-k 해싱을 사용하는 전체 데이터 리맵핑 기법과 유사한 로드 밸런싱 성능을 달성하여 세트를 활성 뱅크에 균일하게 분포시킨다.
• CRUNCH는 전원이 꺼진 뱅크의 세트만 리맵핑함으로써 전이 지연과 에너지를 줄이며, 모든 뱅크의 데이터 마이그레이션을 피한다.
• 최소한의 성능 저하로 빠른 뱅크 전원 켜기/끄기 전환을 가능하게 하여 캐시 크기 조정 중에도 높은 성능 유지를 달성한다.
• CRUNCH는 낮은 오버헤드 리맵핑 기법(핫스팟 생성)과 높은 마이그레이션 비용을 유발하는 로드 밸런싱 기법의 장점을 모두 결합하여 최적의 성능을 달성한다.
• 제안된 기법은 대규모 디스플레이 스택 DRAM 캐시에 실용적이며, 저조도 워크로드 시 활성 뱅크 수를 동적으로 감소시켜 상당한 에너지 절감을 가능하게 한다.
• 전체 캐시 재조직을 피함으로써 CRUNCH는 다수의 크기 조정 이벤트 이후에도 안정 상태에서 높은 시스템 성능을 유지한다.