[논문 리뷰] Short reasons for long vectors in HPC CPUs: a study based on RISC-V

Pablo Vizcaíno, Georgios Ieronymakis외 4명|arXiv (Cornell University)|2023. 09. 13.

Parallel Computing and Optimization TechniquesComputer Science참고 문헌 12인용 수 3

한 줄 요약

이 논문은 가변 벡터 유닛을 탑재한 사용자 정의 가능한 RISC-V 코어를 사용하여 비밀도 HPC 커널에서 벡터 길이, 메모리 대역폭, 지연 시간이 미치는 영향을 평가한다. 이 유닛은 최대 256개의 이중 정밀도 요소를 명령어당 지원한다. 결과적으로 더 긴 벡터 길이는 메모리 지연 시간에 대한 내성을 크게 향상시키고, 단일 코어에서도 고대역폭 메모리 시스템을 효율적으로 활용할 수 있게 하여, 밀도 높은 선형 대수 작업 이외의 성능 향상 효과를 보여준다.

ABSTRACT

For years, SIMD/vector units have enhanced the capabilities of modern CPUs in High-Performance Computing (HPC) and mobile technology. Typical commercially-available SIMD units process up to 8 double-precision elements with one instruction. The optimal vector width and its impact on CPU throughput due to memory latency and bandwidth remain challenging research areas. This study examines the behavior of four computational kernels on a RISC-V core connected to a customizable vector unit, capable of operating up to 256 double precision elements per instruction. The four codes have been purposefully selected to represent non-dense workloads: SpMV, BFS, PageRank, FFT. The experimental setup allows us to measure their performance while varying the vector length, the memory latency, and bandwidth. Our results not only show that larger vector lengths allow for better tolerance of limitations in the memory subsystem but also offer hope to code developers beyond dense linear algebra.

연구 동기 및 목표

• 비밀도 HPC 커널에서의 벡터 길이, 메모리 대역폭, 메모리 지연 시간이 성능에 미치는 영향을 조사하는 것.
• 현장 프로그래머블 게이트 어레이(FPGA) 기반 프로토타입을 사용하여 실제 하드웨어에서 장대형 아키텍처(최대 256개의 이중 정밀도 요소)의 이점을 평가하는 것.
• 큰 벡터 길이를 가진 벡터화된 코드가 스칼라 코드나 짧은 벡터 코드보다 고대역폭 메모리 시스템을 더 효율적으로 활용하고 메모리 지연 시간에 더 잘 견디는지 보여주는 것.
• 밀도 높은 선형 대수 작업 이외의 HPC 워크로드에서 하드웨are-소프트웨어 공동 최적화를 위한 융통성 있는 공동 설계 플랫폼을 제공하는 것.

제안 방법

• 사용자 정의 가능한 RISC-V 슈퍼스칼라 코어와 구성 가능한 8라인 벡터 처리 유닛(VPU)을 통합한 FPGA 기반 소프트웨어 개발 차량(FPGA-SDV)을 구현하였다. 이 VPU는 최대 256개의 이중 정밀도 요소를 명령어당 지원한다.
• 시스템은 런타임 동안 벡터 길이(VL), 메모리 대역폭(1–64 바이트/사이클), 메모리 지연 시간(추가된 사이클 수를 통해)을 설정할 수 있다.
• SpMV, BFS, PageRank, FFT와 같은 네 가지 비밀도 HPC 커널을 다양한 아키텍처 파rameter 조건에서 구현하고 벤치마크를 측정하였다.
• 실행 시간을 기준선(1 바이트/사이클 대역폭)에 대해 정규화하여, 다양한 대역폭 및 지연 조건 간 비교가 가능하도록 하였다.
• 메모리 스루풋을 인위적으로 제한하여 다양한 시스템 대역폭을 시뮬레이션하기 위해 대역폭 제한기 도구를 사용하였다.
• 실제 측정치를 기반으로 반복적인 하드웨어 및 소프트웨어 최적화가 가능한 공동 설계 방법론을 적용하였다.

실험 결과

연구 질문

• RQ1 비밀도 HPC 커널에서 메모리 대역폭과 지연 시간 조건이 다양할 때, 벡터 길이를 늘일 경우 성능에 어떤 영향을 미치는가?
• RQ2 스칼라 또는 짧은 벡터 구현 대비 최대 256개 요소까지의 장대형 벡터 아키텍처가 메모리 지연 시간에 대한 내성을 얼마나 향상시킬 수 있는가?
• RQ3 단일 코어에 장대형 벡터 유닛을 탑재하면 고대역폭 메모리 시스템을 효과적으로 활용할 수 있으며, 성능이 스케일링되는 대역폭 임계값은 어느 수준인가?
• RQ4 SpMV, BFS, PageRank, FFT와 같은 비밀도 커널은 다양한 벡터 길이에서 메모리 제약 조건 하에서 어떻게 행동하는가?

주요 결과

• 스칼라 구현에서는 메모리 대역폭이 1–2 바이트/사이클을 초과하면 성능 향상이 없으며, 제한된 메모리 요청 처리 능력으로 인해 조기에 정체된다.
• 더 큰 벡터 길이를 가진 벡터화된 구현(예: VL=256)은 높은 대역폭에서 뚜렷한 성능 향상을 보였으며, 실행 시간이 64 바이트/사이클에 이르기까지 계속 향상되었다.
• 더 긴 벡터 길이는 메모리 지연 시간에 대한 내성 향상에 크게 기여하였으며, 지연 시간이 증가할수록 벡터화된 코드가 스칼라 코드보다 성능 저하가 덜 발생하였다.
• VL=256인 벡터화된 코드는 스칼라 또는 짧은 벡터(VL=8) 버전보다 메모리 대역폭에 대한 성능 스케일링이 뛰어나, 더 나은 메모리 시스템 활용도를 보였다.
• FPGA-SDV 플랫폼을 통해 아키텍처적 트레이드오���을 정밀하게 실제 하드웨어에서 측정할 수 있었으며, 장대형 벡터가 지연 시간 내성과 대역폭 활용도를 향상시킨다는 것이 검증되었다.
• 결과적으로 장대형 벡터 길이를 가진 벡터 아키텍처는 밀도 높은 과학 계산 외의 비밀도 과학 워크로드에 실질적인 이점을 제공하며, 전통적인 밀도 높은 선형 대수 작업을 넘어서 벡터화의 활용 가능성을 넓힌다.