[논문 리뷰] Casper: Accelerating Stencil Computation using Near-cache Processing

Alain Denzler, Rahul Bera외 5명|arXiv (Cornell University)|2021. 12. 28.

Parallel Computing and Optimization Techniques인용 수 11

한 줄 요약

Casper는 최종 레벨 캐시(ULC)에 특화된 스텐실 처리 유닛(SPU)을 통합한 근접-LLC 가속기 아키텍처를 제안한다. 이는 중복되는 데이터 이동을 제거하고 정규적인 액세스 패턴을 활용함으로써, 데이터를 CPU 코어로 이동시키지 않고도 ULC에서 직접 계산을 수행함으로써 성능 향상을 이룬다. 경량 SPU를 ULC에 밀접하게 결합함으로써, Casper는 상업용 CPU 대비 평균 1.65× 성능 향상(최대 4.16×)과 평균 35% 에너지 절감을 달성하였으며, 최첨단 GPU 대비 성능-단면적 비율에서 평균 37×(최대 190×) 향상된 성능을 제공한다.

ABSTRACT

Stencil computation is one of the most used kernels in a wide variety of scientific applications, ranging from large-scale weather prediction to solving partial differential equations. Stencil computations are characterized by three unique properties: (1) low arithmetic intensity, (2) limited temporal data reuse, and (3) regular and predictable data access pattern. As a result, stencil computations are typically bandwidth-bound workloads, which only experience limited benefits from the deep cache hierarchy of modern CPUs. In this work, we propose Casper, a near-cache accelerator consisting of specialized stencil compute units connected to the last-level cache (LLC) of a traditional CPU. Casper is based on two key ideas: (1) avoiding the cost of moving rarely reused data through the cache hierarchy, and (2) exploiting the regularity of the data accesses and the inherent parallelism of the stencil computation to increase the overall performance. With minimal changes in LLC address decoding logic and data placement, Casper performs stencil computations at the peak bandwidth of the LLC. We show that, by tightly coupling lightweight stencil compute units near to LLC, Casper improves the performance of stencil kernels by 1.65x on average, while reducing the energy consumption by 35% compared to a commercial high-performance multi-core processor. Moreover, Casper provides a 37x improvement in performance-per-area compared to a state-of-the-art GPU.

연구 동기 및 목표

• 스텐실 계산은 저연산 집약성과 제한된 데이터 재사용으로 인해 메모리 대역폭에 제약을 받는다. 이에 대응하기 위해 메모리 대역폭 병목 문제를 해결하고자 한다.
• 일반 목적 프로세서에서 스텐실 커널의 성능과 에너지 효율을 향상시키기 위해, ULC 근처에서의 차량 내 계산을 통해 데이터 이동을 최소화하고자 한다.
• 기존 CPU 아키텍처의 메모리 계층을 크게 변경하지 않고도 통합 가능한 저비용, 도메인 특화 가속기를 설계하고자 한다.
• 데이터 이동을 최소화하고 프로그래밍을 단순화함으로써, FPGA나 GPU와 같은 일반 목적 가속기보다도 뛰어난 성능을 내고자 한다.

제안 방법

• 최종 레벨 캐시(ULC)에 직접 인접한 전용 스텐실 처리 유닛(SPU)을 통합하여, ULC 내 데이터에서 그대로 계산을 수행함으로써 CPU 코어로의 데이터 이동을 방지한다.
• ULC 주소 디코딩 로직과 데이터 배치 방식을 수정하여 스텐실 데이터를 SPU로 유도함으로써, 최대 ULC 대역폭에서 계산을 수행할 수 있도록 한다.
• 스텐실 계산의 정규적이고 예측 가능한 액세스 패턴을 활용하여 메모리 요청을 결합하고, 불필요한 캐시 트래픽을 최소화한다.
• FPGA가 요구하는 시간이 오래 걸리는 비트스트림 생성을 피하기 위해 최소한의 API 기능을 갖춘 경량 프로그래밍 인터페이스를 사용한다.
• 자주 액세스되는 스텐실 데이터를 ULC 내부에 유지하고 현지에서 처리함으로써 데이터 국소성을 최적화하고, 외부 메모리 액세스를 줄인다.
• ULC에 연결된 다수의 SPU를 활용하여 스텐실 연산의 본질적 병렬성을 살려 고처리량을 달성한다.

실험 결과

연구 질문

• RQ1 최종 레벨 캐시 근처에 전용 계산 유닛을 배치함으로써 스텐실 계산의 데이터 이동을 크게 줄이고 성능을 향상시킬 수 있는가?
• RQ2 근접-LLC 처리가 스텐실 커널의 정규적 액세스 패턴을 얼마나 잘 활용하여 대역폭 활용도를 높일 수 있는가?
• RQ3 스텐실 워크로드에 대해 일반 목적 CPU와 GPU에 비해 근접-LLC 가속기의 성능 및 에너지 효율성은 어떠한가?
• RQ4 주요 아키텍처 변경 없이도 저면적, 저오버헤드 가속기를 상용 프로세서에 통합할 수 있는가?
• RQ5 FPGA나 GPU에 비해 근접-LLC 가속기의 프로그래밍 모델은 개발 시간과 복잡도 측면에서 어떻게 다른가?

주요 결과

• Casper는 6종의 널리 사용되는 스텐실 커널에 대해 상업용 고성능 다중 코어 CPU 대비 평균 1.65× 성능 향상(최대 4.16×)을 달성했다.
• 시스템의 에너지 소비는 CPU 기준 대비 평균 35% 감소(최대 65% 감소)하였다.
• 최첨단 GPU 대비 성능-단면적 비율에서 평균 37× 향상(최대 190×)을 기록하였다.
• Marvell ThunderX 2 CPU에 16개의 SPU를 통합할 경우 면적 오버헤드는 1% 미만이었다.
• 전체 캐시 계층을 거쳐 데이터를 이동할 필요 없이, Casper는 ULC 최대 대역폭에서 계산을 수행함으로써 성능을 극대화하였다.
• 제안된 프로그래밍 모델은 FPGA 기반 가속화보다 훨씬 단순하고 빠르며, 시간이 오래 걸리는 비트스트림 생성 과정을 피할 수 있었다.