[논문 리뷰] An FPGA cached sparse matrix vector product (SpMV) for unstructured computational fluid dynamics simulations

Guillermo Oyarzun, Daniel Peyrolon외 2명|arXiv (Cornell University)|2021. 07. 24.

Parallel Computing and Optimization Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 비정형 유체역학 시뮬레이션을 위한 FPGA 기반 캐시 처리 희소 행렬-벡터 곱셈(SpMV)을 제안하며, 입력 벡터의 재사용을 극대화하기 위해 원형 리스트 캐시를 사용한다. 문제에 특화된 희소성 패턴을 활용하고 BRAM 기반 캐싱을 통한 메모리 액세스 최적화를 통해, 단순한 FPGA 구현 대비 최대 16배의 성능 향상을 달성했으며, 전체 벡터를 BRAM에 캐시하는 라이브러리 대비 12배의 성능 향상을 기록한다.

ABSTRACT

Field Programmable Gate Arrays generate algorithmic specific architectures that improve the code's FLOP per watt ratio. Such devices are re-gaining interest due to the rise of new tools that facilitate their programming, such as OmpSs. The computational fluid dynamics community is always investigating new architectures that can improve its algorithm's performance. Commonly, those algorithms have a low arithmetic intensity and only reach a small percentage of the peak performance. The sparse matrix-vector multiplication is one of the most time-consuming operations on unstructured simulations. The matrix's sparsity pattern determines the indirect memory accesses of the multiplying vector. This data path is hard to predict, making traditional implementations fail. In this work, we present an FPGA architecture that maximizes the vector's re-usability by introducing a cache-like architecture. The cache is implemented as a circular list that maintains the BRAM vector components while needed. Following this strategy, up to 16 times of acceleration is obtained compared to a naive implementation of the algorithm.

연구 동기 및 목표

• CPU 및 GPU에서 성능을 제한하는 낮은 산술 집중도와 열악한 메모리 액세스 패턴을 가진 비정형 CFD 시뮬레이션 문제를 해결한다.
• 비정형 메esh에서 SpMV의 간접적이고 예측 불가능한 메모리 액세스 문제를 해결하여 효율적인 하드웨어 매핑을 가능하게 한다.
• FPGA 재구성 가능성의 특성을 활용해 문제에 특화된 SpMV 가속을 통해 에너지 효율성과 성능을 향상시킨다.
• 입력 벡터의 재사용을 극대화하고 외부 메모리 대역폭을 최소화하는 캐시 인식 SpMV 아키텍처를 개발한다.
• 기본적인 FPGA 구현 및 기존 오픈소스 FPGA SpMV 라이브러리 대비 뚜렷한 성능 향상을 입증한다.

제안 방법

• 블록 램(BRAM)을 사용해 원형 리스트를 기반으로 캐시 구조를 구현하여 입력 벡터의 자주 액세스되는 요소를 저장한다.
• 열 기반 순서로 정렬된 슬라이스된 ELLPACK 형식을 사용해 희소 행렬을 저장하여 효율적인 메모리 액세스 패턴을 확보한다.
• 캐시 미스를 줄이기 위해 사전 처리 단계를 통해 재사용 잠재력이 높은 벡터 요소를 식별하고 우선순위를 정한다.
• 자원 사용과 성능의 균형을 맞추기 위해 캐시 크기(16,384개 항목)와 블록 크기(1개 슬라이스당 512행)를 최적화한다.
• Vivado HLS를 통한 자동 HLS 컴파일을 가능하게 하고 고수준 프로그래밍을 단순화하기 위해 OmpSs 기반 프로그래밍 모델에 SpMV 커널을 통합한다.
• 저수준 하드웨어 설계 전문 지식이 최소한으로 필요한 지시 기반 프로그래밍 모델을 사용해 알고리즘을 FPGA 하드웨어에 매핑한다.

실험 결과

연구 질문

• RQ1 낮은 산술 집중도와 비정규적인 메모리 액세스 패턴을 가진 비정형 CFD 시뮬레이션에 대해 FPGA 기반 SpMV를 어떻게 최적화할 수 있는가?
• RQ2 BRAM 내 원형 리스트 캐시가 SpMV 커널에서 데이터 재사용과 외부 메모리 대역폭 감소에 얼마나 기여하는가?
• RQ3 캐시가 없는 기본적인 FPGA 구현 대비 제안된 캐시 기반 SpMV는 성능과 자원 사용 측면에서 어떻게 다른가?
• RQ4 기존 오픈소스 FPGA SpMV 라이브러리가 전체 입력 벡터를 BRAM에 캐시하는 것과 비교해 제안된 방법이 성능 면에서 뛰어나다고 할 수 있는가?
• RQ5 FPGA 전용 캐싱 및 데이터 레이아웃 최적화를 통해 비정형 CFD 행렬의 SpMV에서 달성 가능한 최대 속도 향상은 얼마인가?

주요 결과

• 제안된 캐시 기반 SpMV는 50K에서 800K 행으로 구성된 행렬에서 기존의 단순한 FPGA 구현 대비 최대 16.41배의 성능 향상을 기록한다.
• 행렬 크기가 커질수록 간접적 메모리 액세스에서 공간적·시간적 국소성이 증가하므로 성능 향상 비율이 증가한다.
• 전체 입력 벡터를 BRAM에 캐시하는 오픈소스 라이브러리와 비교해, 동일한 테스트 행렬에서 최대 12.35배의 성능 향상을 달성한다.
• BRAM 제약으로 인해 캐시 SpMV 설계는 최대 4개의 동시 실행 인스턴스만 지원하지만, 기존의 단순 구현은 최대 32개까지 지원하므로 성능과 자원 활용 간의 상충 관계가 드러난다.
• 최적의 구성은 캐시 크기 16,384개 항목(32단어)과 1개 슬라이스당 512행의 블록 크기를 사용하며, 성능과 자원 효율성의 균형을 잘 맞춘다.
• 에너지 제약이 있는 엑사스케일 HPC 워크로드에 적합한 성능 대비 전력 소모 면에서 뛰어난 확장성을 보여준다.