[논문 리뷰] Arrow: A RISC-V Vector Accelerator for Machine Learning Inference

Imad Al Assir, Mohamad El Iskandarani외 2명|arXiv (Cornell University)|2021. 07. 15.

Advanced Memory and Neural ComputingEngineering참고 문헌 15인용 수 18

한 줄 요약

Arrow는 엣지 기계 학습 추론을 대상으로 하는 구성 가능한 RISC-V 벡터 가속기로, RISC-V v0.9 벡터 ISA의 일부를 구현한다. FPGA 기반 벤치마크에서 스칼라 RISC-V 프로세서 대비 2–78×의 성능 향상과 20–99%의 에너지 절감을 달성하여 데이터 병렬 ML 워크로드에 대해 뛰어난 성능과 효율성을 입증한다.

ABSTRACT

In this paper we present Arrow, a configurable hardware accelerator architecture that implements a subset of the RISC-V v0.9 vector ISA extension aimed at edge machine learning inference. Our experimental results show that an Arrow co-processor can execute a suite of vector and matrix benchmarks fundamental to machine learning inference 2 - 78x faster than a scalar RISC processor while consuming 20% - 99% less energy when implemented in a Xilinx XC7A200T-1SBG484C FPGA.

연구 동기 및 목표

• 엣지 기계 학습 추론 분야에서 효율적이고 도메인 특화된 가속기가 증가하는 수요를 충족시키기 위해.
• RISC-V 벡터 ISA(v0.9)를 활용하여 데이터 병렬 워크로드를 위한 커스터마이징 가능하고 고처리량의 처리를 가능하게 하기 위해.
• 자원이 제한된 엣지 디바이스에서 높은 성능과 낮은 에너지 소비를 달성하는 하드웨어 가속기를 설계하기 위해.
• FPGA 프로토타이핑을 통해 대표적인 ML 추론 커널을 사용하여 가속기의 성능과 에너지 효율성을 평가하기 위해.
• 실용적이고 효율적인 엣지 AI 가속을 위한 RISC-V 벡터 확장의 실현 가능성을 입증하기 위해.

제안 방법

• RISC-V v0.9 벡터 ISA 확장을 기반으로 한 구성 가능한 벡터 가속기 구현하기.
• 다중 벡터 랜드와 벡터 레지스터 파일의 뱅크 구조를 갖춘 파이ipel라인 데이터 경로 설계하여 넓은 데이터 병렬 연산을 지원하기 위해.
• 스트라이드 메모리 액세스 지원 기능을 갖춘 벡터 로드/스토어 유닛 통합하여 데이터 국소성 향상과 포인터 관리 오버헤드 감소하기 위해.
• 사용자 정의 메모리 인터페이스와 片상 블록 RAM을 사용하여 효율적인 데이터 이동과 저지연 액세스 구현하기 위해.
• 실행 시 유연성과 동적 벡터 크기 적응을 가능하게 하기 위해 벡터 길이 및 설정 레지스터 구현하기.
• 실제 ML 추론 커널을 사용하여 성능 및 에너지 평가를 위해 Xilinx XC7A200T FPGA에 설계 배포하기.

실험 결과

연구 질문

• RQ1 기계 학습 추론 워크로드에서 스칼라 RISC-V 프로세서에 비해 RISC-V 벡터 가속기는 성능과 에너지 효율성 측면에서 어떻게 비교되는가?
• RQ2 엣지 AI 응용 분야에서 데이터 수준 병렬성의 활용을 통해 벡터화를 통해 달성할 수 있는 성능 향상과 에너지 절감은 어느 정도인가?
• RQ3 다양한 데이터 크기 프로파일은 Arrow 가속기에서 벡터화된 커널의 스피드업과 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 2D 컨볼루션과 행렬 최댓값 풀링과 같은 복잡한 ML 커널을 벡터화할 때 주요 성능 저하 요인은 무엇인가?
• RQ5 메모리 기반 및 계산 기반의 ML 커널에서 벡터화는 실행 시간과 에너지 소비를 어느 정도 줄일 수 있는가?

주요 결과

• Arrow는 대규모 데이터 프로파일에서 가장 높은 스피드업을 기록하며, 스칼라 RISC-V 프로세서 대비 벡터 및 행렬 벤치마크에서 2–78×의 성능 향상을 달성한다.
• 행렬 곱셈은 최대 78×의 스피드업을 기록하며, 벡터 덧셈과 곱셈은 데이터 크기에 따라 25–78×의 스피드업을 기록한다.
• 2D 컨볼루션은 최적화된 벡터 리덕션을 사용했음에도 불구하고 스칼라 포인터 산술의 높은 오버헤드로 인해 오직 1.4–1.9×의 스피드업에 그친다.
• 벡터 벤치마크에서는 에너지 소비가 96–99% 감소했으며, 행렬 벤치마크에서는 80–99%, 2D 컨볼루션에서는 20–43% 감소했으며, 주로 실행 시간 감소로 인한 것이다.
• 벡터 크기가 증가할수록 성능이 향상되며, 벡터 설정 오버헤드(예: 벡터 길이 설정)가 더 긴 벡터에 비해 영향을 덜 받는다.
• 결과는 불규칙한 커널인 2D 컨볼루션과 행렬 최댓값 풀링에서 스트라이드 벡터 연산을 통한 메모리 액세스 패턴 최적화를 추가하면 성능 향상이 크게 이루어질 수 있음을 시사한다.