[논문 리뷰] REQ-YOLO: A Resource-Aware, Efficient Quantization Framework for Object Detection on FPGAs

Caiwen Ding, Shuo Wang외 4명|arXiv (Cornell University)|2019. 09. 29.

Advanced Neural Network Applications참고 문헌 50인용 수 15

한 줄 요약

REQ-YOLO는 FPGA 기반 YOLO 기반 객체 검출을 위한 자원 인지형, 이종 가중치 양자화 프레임워크를 제안하며, 블록 순환 행렬과 ADMM 최적화를 활용하여 효율적이고 저정밀도 추론을 가능하게 한다. 동등한 간격 양자화 대비 1.5배 높은 성능과 1.6배 높은 에너지 효율성을 달성하며, 정확도 저하가 최소화되고, Jetson TX2 기반 GPU 대비 9.4배 높은 에너지 효율성을 확보한다.

ABSTRACT

Deep neural networks (DNNs), as the basis of object detection, will play a key role in the development of future autonomous systems with full autonomy. The autonomous systems have special requirements of real-time, energy-efficient implementations of DNNs on a power-constrained system. Two research thrusts are dedicated to performance and energy efficiency enhancement of the inference phase of DNNs. The first one is model compression techniques while the second is efficient hardware implementation. Recent works on extremely-low-bit CNNs such as the binary neural network (BNN) and XNOR-Net replace the traditional floating-point operations with binary bit operations which significantly reduces the memory bandwidth and storage requirement. However, it suffers from non-negligible accuracy loss and underutilized digital signal processing (DSP) blocks of FPGAs. To overcome these limitations, this paper proposes REQ-YOLO, a resource-aware, systematic weight quantization framework for object detection, considering both algorithm and hardware resource aspects in object detection. We adopt the block-circulant matrix method and propose a heterogeneous weight quantization using the Alternating Direction Method of Multipliers (ADMM), an effective optimization technique for general, non-convex optimization problems. To achieve real-time, highly-efficient implementations on FPGA, we present the detailed hardware implementation of block circulant matrices on CONV layers and develop an efficient processing element (PE) structure supporting the heterogeneous weight quantization, CONV dataflow and pipelining techniques, design optimization, and a template-based automatic synthesis framework to optimally exploit hardware resource. Experimental results show that our proposed REQ-YOLO framework can significantly compress the YOLO model while introducing very small accuracy degradation.

연구 동기 및 목표

• 자율 시스템을 위한 전력 제약이 있는 FPGA에서 실시간이고 에너지 효율적인 객체 검출을 구현하는 데 도전한다.
• 기존의 저비트 양자화 방법의 한계, 즉 정확도 저하와 FPGA 내 미사용된 DSP 블록을 해결한다.
• 알고리즘적 양자화와 하드웨어 자원 활용을 동시에 최적화하는 체계적인 프레임워크를 개발한다.
• 효율적인 가중치 표현과 하드웨어 인지 설계를 통해 압축된 DNN 모델의 온칩 저장을 가능하게 한다.
• 모델 정확도를 유지하면서도 높은 성능과 에너지 효율성을 확보한 객체 검출 추론을 달성한다.

제안 방법

• 가중치 저장 및 계산의 정규화를 위해 블록 순환 행렬 표현을 활용하여 하드웨어 병렬성 향상과 비정규성 감소를 도모한다.
• FFT/IFFT를 활용한 ADMM 기반 이종 양자화를 도입하여 비凸 최적화 문제를 최적화함으로써 혼합 정밀도 양자화를 가능하게 한다.
• 동등한 간격 양자화와 이종 양자화를 모두 지원하는 전용 처리 요소(PE) 아키텍처를 설계하고, CONV 데이터플로우 및 파이프라인을 구현한다.
• 하드웨어 자원 활용 최적화와 설계 시간 단축을 위해 템플릿 기반 자동 합성 프레임워크를 구현한다.
• 메모리 액세스 최소화와 PE 크기 및 수의 감소에 초점을 맞춘 설계 최적화를 적용하여 에너지 효율성을 향상시킨다.
• 알고리즘적 양자화를 FPGA 전용 하드웨어 매핑과 통합하여 DSP 및 LUT 자원을 최대한 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 하드웨어 인지형이면서 알고리즘적으로 효과적인 가중치 양자화를 구현하여 FPGA에서 성능과 에너지 효율성을 극대화할 수 있는가?
• RQ2 ADMM와 블록 순환 행렬을 활용한 이종 양자화가 균일한 양자화 대비 정확도 손실을 줄이고 FPGA 자원 활용도를 향상시킬 수 있는가?
• RQ3 FPGA 기반 YOLO 구현이 GPU 기반 대비 에너지 효율성과 실시간 성능 측면에서 어느 정도 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 제안된 프레임워크는 효율적인 가중치 표현과 하드웨어 매핑을 통해 어떻게 압축된 모델의 온칩 저장을 가능하게 하는가?
• RQ5 혼합 정밀도 양자화와 최적화된 PE 설계는 FPGA 기반 객체 검출에서 지연, 처리량 및 에너지 효율성에 어떤 영향을 미치는가?

주요 결과

• REQ-YOLO는 FPGA에서 동등한 간격 양자화 대비 1.5배 높은 성능과 1.6배 높은 에너지 효율성을 확보한다.
• 모델 크기를 크게 줄였지만 정확도 저하가 최소화되어 높은 객체 검출 성능을 유지한다.
• 약간 더 낮은 성능을 지닌 FPGA를 사용함에도 불구하고, 최신 기술의 FPGA 기반 객체 검출기보다 성능에서 최소 10배 높은 성능을 기록한다.
• Titan X GPU 기반 YOLO 대비 FPGA-YOLO0와 FPGA-YOLO1은 각각 5.7배와 9.4배 높은 성능 대비 전력 효율성(에너지 효율성)을 확보한다.
• Jetson TX2 GPU 대비 제안된 프레임워크는 에너지 효율성을 각각 3.5배와 5.8배 높게 달성했으며, 7.3배 빠르고 최대 2.1배 더 많은 전력을 소비한다.
• 템플릿 기반 합성 프레임워크는 자원 활용 최적화와 설계 오버헤드 감소를 위한 효율적이고 자동화된 하드웨어 생성을 가능하게 한다.