[논문 리뷰] Open-source FPGA-ML codesign for the MLPerf Tiny Benchmark

Hendrik Borras, Giuseppe Di Guglielmo외 16명|arXiv (Cornell University)|2022. 06. 23.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 hls4ml과 FINN를 사용하여 MLPerf Tiny Inference Benchmark를 위한 양자화된 신경망을 최적화하는 오픈소스 종단 간 FPGA-ML 코드디자인 워크플로우를 제시한다. 이 방법은 Pynq-Z2 및 Arty A7-100T 플랫폼에서 추론 지연 시간이 20μs 이하, 추론당 에너지 소비가 최소 30μJ에 이를 정도로 높은 효율성과 구성 유연성을 확보하였다. 이는 양자화 인식 훈련, 하이퍼파rameter 최적화, 하드웨어 인식 모델 압축을 통해 달성되었으며, QONNX를 공통의 교환 포맷으로 사용하였다.

ABSTRACT

We present our development experience and recent results for the MLPerf Tiny Inference Benchmark on field-programmable gate array (FPGA) platforms. We use the open-source hls4ml and FINN workflows, which aim to democratize AI-hardware codesign of optimized neural networks on FPGAs. We present the design and implementation process for the keyword spotting, anomaly detection, and image classification benchmark tasks. The resulting hardware implementations are quantized, configurable, spatial dataflow architectures tailored for speed and efficiency and introduce new generic optimizations and common workflows developed as a part of this work. The full workflow is presented from quantization-aware training to FPGA implementation. The solutions are deployed on system-on-chip (Pynq-Z2) and pure FPGA (Arty A7-100T) platforms. The resulting submissions achieve latencies as low as 20 $μ$s and energy consumption as low as 30 $μ$J per inference. We demonstrate how emerging ML benchmarks on heterogeneous hardware platforms can catalyze collaboration and the development of new techniques and more accessible tools.

연구 동기 및 목표

• 오픈소스 도구를 사용하여 토글형 ML 워크로드에 대해 효율적이고 저지연, 저에너지 소비의 FPGA 기반 추론을 구현하는 것.
• 양자화된 신경망을 FPGA에 배포하기 위한 통합된 오픈 워크플로우를 제공하여 AI-하드웨어 공동 설계의 민주화를 이루는 것.
• 키워드 스포팅, 이상 탐지, 이미지 분류 벤치마크에서 모델 성능, 지연 시간, 자원 사용량을 최적화하는 것.
• 레이어 융합, FIFO 버퍼 튜닝, 그리고 융통성 있는 양자화된 신경망을 위한 공통 QONNX 포맷을 포함한 새로운 최적화 기법을 개발하고 통합하는 것.
• 양자화 인식 훈련에서 FPGA 배포에 이르기까지 재현 가능하고 종단 간 파이프라인을 구축하는 것 — SoC 및 순수 FPGA 플랫폼 모두 대상.

제안 방법

• QKeras와 Brevitas를 사용해 저정밀도(1-12비트) 고정소수점 추론을 가능하게 하는 양자화 인식 훈련(QAT)을 적용하였다.
• Determined AI와 KerasTuner를 활용한 하이퍼파rameter 최적화를 통해 정확도, 지연 시간, 자원 사용량을 균형 잡은 모델 아키텍처를 탐색하였다.
• 레이어 융합 및 FIFO 버퍼 튜닝을 포함한 하드웨어 인식 최적화를 적용하여 처리량을 향상시키고 지연 시간을 감소시켰다.
• Pynq-Z2 및 Arty A7-100T FPGA에서 검증, 점검, 배포를 위해 Python API를 사용해 hls4ml과 FINN를 통해 모델을 합성하였다.
• QONNX를 공통의 교환 포맷으로 표준화하여 도구 간에 양자화된 신경망을 표현하는 데 사용하였다.
• Joulescope JS110 및 커스텀 전력 모니터링 설정을 사용해 지연 시간과 에너지 소비를 측정하는 통합 벤치마킹 파이프라인을 구현하였다.

실험 결과

연구 질문

• RQ1 오픈소스 FPGA-ML 코드디자인 워크플로우는 어떻게 토글형 ML 추론에 대해 초저지연 및 초저에너지 소비를 달성할 수 있는가?
• RQ2 양자화 인식 훈련과 하드웨어 인식 모델 압축은 자원 제약이 있는 FPGA에서 성능 향상에 얼마나 기여하는가?
• RQ3 QONNX를 사용한 통합된 오픈소스 워크플로우는 hls4ml 및 FINN 툴체인 간의 상호 운용성과 재현 가능성에 기여할 수 있는가?
• RQ4 FPGA 가속 토글형 ML에서 모델 정밀도, 지연 시간, 에너지 효율성 간 최적의 트레이드오프는 무엇인가?
• RQ5 하이퍼파rameter 최적화 및 설계 공간 탐색의 통합은 FPGA 기반 ML 배포의 효율성을 어떻게 향상시키는가?

주요 결과

• 모든 세 가지 MLPerf Tiny 벤치마크 작업에서 FPGA 구현이 20μs 이하의 지연 시간을 달성하여 높은 처리량을 입증하였다.
• 에너지 소비는 추론당 최소 30μJ까지 감소하여 뛰어난 에너지 효율성을 입증하였다.
• 기준 모델과 유사한 정확도 또는 AUC를 유지하여 극단적인 양자화에도 불구하고 성능 저하가 최소화되었음을 확인하였다.
• Arty A7-100T FPGA 전용 플랫폼이 MLPerf Tiny 제출에서 처음으로 사용되었으며, 배포의 유연성이 확장되었다.
• 레이어 융합 및 FIFO 버퍼 최적화의 통합은 하드웨어 활용도 향상과 지연 시간 감소에 크게 기여하였다.
• QONNX 포함 오픈소스 워크플로우 덕분에 완전한 재현 가능성이 확보되었고, 산업계와 학계 간 협업을 촉진하였다.