[논문 리뷰] Ultra Low-latency, Low-area Inference Accelerators using Heterogeneous Deep Quantization with QKeras and hls4ml

Claudionor N. Coelho, Aki Kuusela외 6명|arXiv (Cornell University)|2020. 06. 15.

Particle Detector Development and Performance참고 문헌 5인용 수 20

한 줄 요약

이 논문은 QKeras를 제시하며, 양자화 인식 학습을 통한 이종 양자화 딥 뉴럴 네트워크를 지원하는 Keras 확장 기능을 제공하고, hls4ml과 통합하여 자동화된 FPGA 배포를 가능하게 한다. 이 방법은 최소한의 면적과 에너지 소비로 초단시간 지연(1마이크로초 미만)의 추론 성능을 달성하며, CERN에서 고에너지 물리학 이벤트 트리거 작업에 적용된 바 있다.

ABSTRACT

In this paper, we introduce the QKeras library, an extension of the Keras library allowing for the creation of heterogeneously quantized versions of deep neural network models, through drop-in replacement of Keras layers. These models are trained quantization-aware, where the user can trade off model area or energy consumption by accuracy. We demonstrate how the reduction of numerical precision, through quantization-aware training, significantly reduces resource consumption while retaining high accuracy when implemented on FPGA hardware. Together with the hls4ml library, this allows for a fully automated deployment of quantized Keras models on chip, crucial for ultra low-latency inference. As a benchmark problem, we consider a classification task for the triggering of events in proton-proton collisions at the CERN Large Hadron Collider, where a latency of ${\mathcal O}(1)~\mu$s is required.

연구 동기 및 목표

• 실시간 응용 프로그램을 위한 자원 제약이 있는 하드웨어에 저지연, 저에너지 효율적인 딥 뉴럴 네트워크를 구현하는 데 도전 과제를 해결한다.
• 이종 양자화를 통해 모델 정확도, 면적, 에너지 소비 간의 세밀한 트레이드오프를 가능하게 한다.
• hls4ml을 사용하여 양자화된 Keras 모델을 FPGA에 자동으로 배포하는 완전 자동화된 파이프라인을 개발한다.
• 실시간 시스템(예: CERN의 입자 물리학 트리거)에서 요구하는 1마이크로초 이하의 추론 지연을 달성한다.
• 초저지연 워크로드를 위한 고정확도, 저자원 DNN 추론이 FPGA에서 실현 가능한지 입증한다.

제안 방법

• 표준 레이어를 이종 양자화 가능한 등가물로 교체할 수 있도록 Keras를 QKeras로 확장하여 이종 양자화를 허용한다.
• 모델 최적화 중에 양자화 효과를 시뮬레이션하기 위해 양자화 인식 학습을 적용하여, 저정밀도 제약 조건 하에서도 정확도를 유지한다.
• hls4ml을 사용하여 양자화된 Keras 모델을 FPGA 구현을 위한 고수준 합성 코드로 자동 변환한다.
• 레이어 간 혼합 정밀도를 지원하여, 각 레이어에 대해 다른 수치 형식(예: 4비트, 8비트)을 사용하여 면적과 지연 시간을 최적화한다.
• 모델 학습에서 FPGA 비트스트림 생성에 이르기까지 최소한의 사용자 간섭으로 전체 파이프라인을 통합한다.
• 모델 정확도를 유지하면서도 지연 시간과 자원 사용량을 최소화하기 위해 하드웨어 매핑을 최적화한다.

실험 결과

연구 질문

• RQ1 이종 양자화와 양자화 인식 학습을 조합함으로써 정확도를 훼손하지 않으면서 모델 면적과 에너지 소비를 크게 줄일 수 있는가?
• RQ2 QKeras와 hls4ml 파이프라인은 초저지연 추론을 위한 양자화된 DNN을 FPGA에 자동으로 배포하는 데 얼마나 자동화되어 있는가?
• RQ3 복잡한 DNN을 사용하는 실시간 고에너지 물리학 이벤트 트리거에 대해 FPGA에서 1마이크로초 이하의 추론 지연을 달성하는 것이 가능한가?
• RQ4 이종 양자화를 사용할 경우, 정밀도, 하드웨어 자원 사용량, 추론 지연 시간 간의 트레이드오프는 얼마나 효과적인가?
• RQ5 제안된 파이프라인은 중요한 레이어의 정밀도를 4비트 이하로 낮추어도 높은 정확도를 유지할 수 있는가?

주요 결과

• QKeras를 통한 이종 양자화는 정확도를 유지하면서도 모델 면적과 에너지 소비를 크게 줄이는 데 성공했다.
• QKeras와 hls4ml의 통합은 양자화된 모델을 FPGA에 자동으로 배포할 수 있게 하여 수동 최적화를 최소화했다.
• 파이프라인은 약 1마이크로초 수준의 추론 지연을 달성하여 CERN의 엄격한 실시간 이벤트 트리거 요구 조건을 충족시켰다.
• 양자화 인식 학습은 특히 이종 양자화와 조합되었을 때 정확도 저하를 효과적으로 완화하여, 심한 정밀도 감소 조건 하에서도 유의미한 성능 유지를 가능하게 했다.
• 이 방법은 각 레이어의 정밀도에 대한 세밀한 제어를 가능하게 하여 지연 시간, 면적, 정확도 간 최적의 트레이드오프를 실현했다.
• 시스템은 고에너지 물리학 애플리케이션에서 사용되는 복잡한 DNN에 대해 FPGA에서 초저지연 추론이 실현 가능하다는 것을 입증했다.