[논문 리뷰] Optimizing Memory Performance of Xilinx FPGAs under Vitis

Ruoshi Li, Hongjing Huang외 4명|arXiv (Cornell University)|2020. 10. 18.

Parallel Computing and Optimization Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 Vitis 고수준 합성(HLS)을 사용하여 Xilinx FPGA에서 HBM 메모리 성능을 최적화하기 위한 종합적인 벤치마킹 프레임워크를 제시한다. 메모리 액세스 패턴과 주소 매핑 정책이 대역폭에 결정적인 영향을 미친다는 것을 입증하며, HBM2를 사용할 경우 최대 431 GB/s의 처리량을 달성한다. 또한 AI 추론 워크로드에서 CPU 대비 100배 이상의 성능 향상을 보이며, 다중 채널 및 고단위 크기 액세스 패턴이 핵심임을 보여준다.

ABSTRACT

Plenty of research efforts have been devoted to FPGA-based acceleration, due to its low latency and high energy efficiency. However, using the original low-level hardware description languages like Verilog to program FPGAs requires generally good knowledge of hardware design details and hand-on experiences. Fortunately, the FPGA community intends to address this low programmability issues. For example, , with the intention that programming FPGAs is just as easy as programming GPUs. Even though Vitis is proven to increase programmability, we cannot directly obtain high performance without careful design regarding hardware pipeline and memory subsystem.In this paper, we focus on the memory subsystem, comprehensively and systematically benchmarking the effect of optimization methods on memory performance. Upon benchmarking, we quantitatively analyze the typical memory access patterns for a broad range of applications, including AI, HPC, and database. Further, we also provide the corresponding optimization direction for each memory access pattern so as to improve overall performance.

연구 동기 및 목표

• Vitis와 HLS를 사용한 고수준 프로그래밍에서 FPGA 잠재력과 실제 메모리 대역폭 사이의 성능 격차를 해소하기 위해.
• Vitis 환경 하에서 HBM2 성능에 미치는 메모리 액세스 패턴의 영향을 체계적으로 평가하기 위해.
• 주소 매핑 정책, 단위 크기, 메모리 액세스 패턴이 처리량과 지연에 미치는 영향을 규명하고 정량화하기 위해.
• 다양한 워크로드에서 FPGA의 외부 메모리 성능을 평가하기 위한 재사용 가능하고 오픈소스의 벤치마킹 프레임워크를 구축하기 위해.
• 성능 및 프로그래머블성의 상호 교환 관계를 평가하기 위해 HLS 기반 Vitis 구현과 RTL 및 Vivado 기반 설계를 비교하기 위해.

제안 방법

• Vitis와 HLS를 사용하여 Xilinx U280 FPGA에서 HBM2 메모리 액세스에 대한 대규모 체계적 벤치마킹을 수행하여 처리량, 지연 및 자원 활용도를 측정하였다.
• 네 가지 기본 데이터베이스 메모리 액세스 패턴(순차적, 무작위, 반복 순차적, 중첩 다중 커서 이동)을 평가하였다.
• 다양한 단위 크기와 스트라이드를 가진 단일 채널 및 다중 채널(최대 32채널) HBM 액세스를 구현하고 비교하였다.
• AXI 인터페이스를 사용하여 HBM2에 직접 액세스하여 캐시 간섭 없이 실제 시스템 수준의 동작을 반영한 결과를 확보하였다.
• CPU, RTL(Vivado), DDR4/DDR5 기준선과의 비교를 통해 Vitis/HLS 전용 성능 특성을 분리하여 평가하였다.
• 주소 매핑 정책이 대역폭에 미치는 영향을 분석하여 순차적 액세스에서 처리량에 최대 10배의 변동이 있음을 확인하였다.

실험 결과

연구 질문

• RQ1 메모리 액세스 패턴의 선택(예: 순차적 대비 무작위)이 Vitis/HLS 기반 FPGA에서 HBM2 대역폭과 지연에 어떤 영향을 미치는가?
• RQ2 주소 매핑 정책이 HBM2 메모리 처리량에 미치는 영향은 무엇이며, 다양한 액세스 패턴에 최적화하기 위해 어떻게 개선할 수 있는가?
• RQ3 Vitis/HLS는 RTL 기반 구현 대비 HBM2의 이론적 최대 대역폭에 얼마나 가까이 도달할 수 있는가?
• RQ4 단위 크기와 스트라이드는 AI 추론 및 데이터베이스 연산자와 같은 메모리 기반 응용 프로그램의 성능에 어떤 영향을 미치는가?
• RQ5 HLS 기반 FPGA 설계에서 단일 커널 대비 다중 커널(다중 채널) HBM 액세스의 성능 및 자원 활용도 간 상호 교환 관계는 어떠한가?

주요 결과

• Xilinx U280에서 Vitis 기반 HLS를 사용한 구현은 HBM2를 통해 최대 431 GB/s의 메모리 대역폭을 달성하며, 이는 이론적 최대치와 RTL 수준 성능과 일치한다.
• 최적의 주소 매핑을 적용한 순차적 메모리 액세스는 421.68 GB/s의 처리량을 기록하지만, 무작위 액세스(LFSR)는 뿐만 아니라 5.82 GB/s로 급격히 감소하여 액세스 패턴의 결정적 영향을 입증한다.
• 중첩 다중 커서 순차적 액세스 패턴은 최고의 처리량(421.89 GB/s)을 기록하여 고단위 크기와 정렬된 스트라이드의 이점을 입증한다.
• 다중 채널 HBM 액세스(32채널)는 단일 채널(2채널) 대비 10배 높은 성능을 보이며, 자원 활용도는 오직 2배 뿐이다.
• AI 추론 워크로드에서 32채널 HBM 액세스를 사용할 경우 CPU 기반 구현 대비 100배 이상의 성능 향상을 기록하였으며, LUT는 18.8%, FF는 14.8%의 자원 활용도를 보였다.
• Vitis 플랫폼은 커널 캡슐화로 인해 Vivado/RTL 대비 약 10%의 지연 오버헤드를 유발하지만, CPU/GPU의 HBM 액세스 지연과 수준을 같이 유지한다.