[논문 리뷰] MANA: Microarchitecting an Instruction Prefetcher

Ali Ansari, Fatemeh Golshan외 2명|arXiv (Cornell University)|2021. 02. 02.

Parallel Computing and Optimization Techniques참고 문헌 54인용 수 8

한 줄 요약

MANA는 지능적인 메타데이터 설계를 통해 공간 상관관계를 활용하여 컴act하고 최소한의 메타데이터 레코드를 생성하고 이를 연결함으로써 강력한 프리패칭을 구현하는 고성능·저비용 지침 프리패처이다. 동일한 스토리지 예산 하에서 PIF 수준의 성능을 달성하면서 스토리지 비용을 15.7배 낮추고, RDIP 및 Shotgun보다 각각 12.5%와 29% 높은 성능을 기록한다.

ABSTRACT

L1 instruction (L1-I) cache misses are a source of performance bottleneck. Sequential prefetchers are simple solutions to mitigate this problem; however, prior work has shown that these prefetchers leave considerable potentials uncovered. This observation has motivated many researchers to come up with more advanced instruction prefetchers. In 2011, Proactive Instruction Fetch (PIF) showed that a hardware prefetcher could effectively eliminate all of the instruction-cache misses. However, its enormous storage cost makes it an impractical solution. Consequently, reducing the storage cost was the main research focus in the instruction prefetching in the past decade. Several instruction prefetchers, including RDIP and Shotgun, were proposed to offer PIF-level performance with significantly lower storage overhead. However, our findings show that there is a considerable performance gap between these proposals and PIF. While these proposals use different mechanisms for instruction prefetching, the performance gap is largely not because of the mechanism, and instead, is due to not having sufficient storage. Prior proposals suffer from one or both of the following shortcomings: (1) a large number of metadata records to cover the potential, and (2) a high storage cost of each record. The first problem causes metadata miss, and the second problem prohibits the prefetcher from storing enough records within reasonably-sized storage.

연구 동기 및 목표

• 현대 프로세서에서 L1 지침 캐시 미스로 인한 지속적인 성능 저하 문제를 해결한다.
• 부족한 스토리지 용량과 높은 메타데이터 비용으로 인해 이전 프리패처들이 전체 성능 잠재력을 발휘하지 못하는 한계를 극복한다.
• 메타데이터 표현과 마이크로아키텍처 최적화를 통해 단위 스토리지 당 성능을 극대화하는 비용 효율적인 지침 프리패처를 설계한다.
• 고성능 프리패칭의 핵심은 복잡한 메커니즘보다는 지능적인 메타데이터 설계를 통한 스토리지 오버헤드 최소화에 있음을 입증한다.

제안 방법

• 지침 접근 패턴의 높은 공간 상관관계를 이용해 컴act하고 정확한 메타데이터 레코드를 생성하는 기반을 마련한다.
• 공간 상관관계를 기반으로 한 메타데이터 구조를 설계하여 고유한 레코드 수를 최소화하고 레코드당 비트 수를 감소시킨다.
• 메타데이터 레코드를 연결하는 체인 메커니즘을 구현하여 지침 스트림 간에 적시이고 강력한 프리패칭을 가능하게 한다.
• 메타데이터 스토리지의 높은 히트율을 유지하면서도 스토리지 사용량을 최소화할 수 있도록 마이크로아키텍처를 설계한다.
• 제한된 스토리지 예산 하에서 PIF, RDIP, Shotgun과 직접 비교하기 위해 전시스템 시뮬레이션을 수행하여 MANA의 성능을 평가한다.
• 극도의 효율성 시나리오에서의 성능 트레이드오프를 평가하기 위해 스토리지 오버헤드가 0인 MANA의 변종을 도입한다.

실험 결과

연구 질문

• RQ1 RDIP 및 Shotgun과 같은 최신 지침 프리패처들이 다른 메커니즘을 사용하고 있음에도 불구하고 PIF 성능에 못 미치는 이유는 무엇인가?
• RQ2 PIF와 다른 프리패처 간의 성능 격차가 알고리즘적 차이가 아니라 메타데이터 스토리지 제약 때문일 가능성은 어느 정도인가?
• RQ3 지침 접근 패턴의 공간 상관관계를 활용하여 컴act하고 고정밀도의 메타데이터 구조를 설계할 수 있는가?
• RQ4 최소한의 스토리지 오버헤드로도 메타데이터 체인이 프리패칭의 강성과 적시성 향상에 얼마나 효과적인가?
• RQ5 PIF와 같은 고성능이지만 스토리지 집약적인 기준 대비 스토리지 최적화된 프리패처의 성능 한계는 어디에 있는가?

주요 결과

• PIF와 RDIP, Shotgun과 같은 이전 프리패처 간의 성능 격차는 핵심 메커니즘의 차이가 아니라 스토리지 부족과 높은 메타데이터 비용 탓이다.
• MANA는 스토리지 비용을 15.7배 낮추면서도 PIF 수준의 성능을 달성하여, 스토리지 효율성이 고성능 프리패칭의 핵심이라는 것을 입증한다.
• 동일한 스토리지 예산 하에서 MANA는 RDIP보다 12.5% 높고, Shotgun보다 29% 높은 성능을 기록하여 그 메타데이터 설계의 효과성을 확인한다.
• 스토리지 오버헤드가 0인 MANA의 변종은 전체 버전의 피크 성능 이득의 98%를 달성하여, 최소한의 메타데이터로도 거의 최적의 성능을 낼 수 있음을 보여준다.
• L1-I 캐시 크기를 줄이면 L1-I 외부 대역폭 사용이 증가한다(8 KB일 경우 최대 2.65배), 그러나 캐시 라인 프omotion으로 인한 L2 트래픽 감소와 뚜렷한 성능 향상으로 상쇄된다.
• 대부분의 L1-I 요청은 L2 캐시에서 제공되며, L1-I 미스는 L2 캐시 라인 프로motion을 유도한다. 이는 일부 경우에서 L2 외부 대역폭을 감소시킬 수 있다.