[論文レビュー] REQ-YOLO: A Resource-Aware, Efficient Quantization Framework for Object Detection on FPGAs

Caiwen Ding, Shuo Wang+4 more|arXiv (Cornell University)|Sep 29, 2019

Advanced Neural Network Applications参考文献 50被引用数 15

ひとこと要約

REQ-YOLO は、FPGA 上の YOLO に基づく物体検出に向けたリソースに配慮した異種重み量子化フレームワークを提案する。ブロック巡回行列と ADMM 最適化を活用することで、効率的で低精度の推論を実現する。等間隔量子化と比較して 1.5× 高い性能と 1.6× より優れたエネルギー効率を達成し、精度の低下は最小限に抑えられ、Jetson TX2 上の GPU に基づく YOLO と比較して 9.4× より優れたエネルギー効率を実現する。

ABSTRACT

Deep neural networks (DNNs), as the basis of object detection, will play a key role in the development of future autonomous systems with full autonomy. The autonomous systems have special requirements of real-time, energy-efficient implementations of DNNs on a power-constrained system. Two research thrusts are dedicated to performance and energy efficiency enhancement of the inference phase of DNNs. The first one is model compression techniques while the second is efficient hardware implementation. Recent works on extremely-low-bit CNNs such as the binary neural network (BNN) and XNOR-Net replace the traditional floating-point operations with binary bit operations which significantly reduces the memory bandwidth and storage requirement. However, it suffers from non-negligible accuracy loss and underutilized digital signal processing (DSP) blocks of FPGAs. To overcome these limitations, this paper proposes REQ-YOLO, a resource-aware, systematic weight quantization framework for object detection, considering both algorithm and hardware resource aspects in object detection. We adopt the block-circulant matrix method and propose a heterogeneous weight quantization using the Alternating Direction Method of Multipliers (ADMM), an effective optimization technique for general, non-convex optimization problems. To achieve real-time, highly-efficient implementations on FPGA, we present the detailed hardware implementation of block circulant matrices on CONV layers and develop an efficient processing element (PE) structure supporting the heterogeneous weight quantization, CONV dataflow and pipelining techniques, design optimization, and a template-based automatic synthesis framework to optimally exploit hardware resource. Experimental results show that our proposed REQ-YOLO framework can significantly compress the YOLO model while introducing very small accuracy degradation.

研究の動機と目的

• 自律システム向けに、電力制限のある FPGA にリアルタイムでエネルギー効率の高い物体検出を実装する課題に対処する。
• 既存の低ビット量子化手法の限界、例えば精度の低下や FPGA における DSP ブロックの未利用を克服する。
• アルゴリズム的量子化とハードウェアリソースの活用を統合的に最適化するフレームワークを体系的に構築する。
• 効率的な重み表現とハードウェアに配慮した設計により、オンチップでの圧縮 DNN モデルの保存を可能にする。
• モデルの精度を維持しつつ、物体検出推論における高いパフォーマンスとエネルギー効率を実現する。

提案手法

• 重みのストレージと計算を規則化するためにブロック巡回行列表現を採用し、ハードウェア並列処理を向上させ、不規則性を低減する。
• FFT/IFFT を用いた ADMM を導入し、非凸な量子化問題を最適化することで、混合精度量子化を可能にする異種重み量子化を提案する。
• 等間隔量子化と異種量子化の両方をサポートする専用プロセッシング要素（PE）アーキテクチャを設計し、CONV データフローとパイプライン処理を実装する。
• ハードウェアリソースの活用を最適化し、設計時間を短縮するためのテンプレートベースの自動合成フレームワークを実装する。
• メモリアクセスの最小化と PE のサイズおよび数の削減に焦点を当てた設計最適化を実施し、エネルギー効率を向上させる。
• アルゴリズム的量子化と FPGA 特有のハードウェアマッピングを統合し、DSP および LUT リソースを最大限に活用する。

実験結果

リサーチクエスチョン

• RQ1 FPGA 上でパフォーマンスとエネルギー効率を最大化するために、重み量子化をどのようにアルゴリズム的に効果的かつハードウェアに配慮したものにできるか？
• RQ2 ADMM とブロック巡回行列を用いた異種量子化は、均一な量子化と比較して、精度損失を低減するとともに、FPGA リソースの活用度を向上させることができるか？
• RQ3 FPGA を用いた YOLO 実装は、GPU 対比でエネルギー効率とリアルタイム性能においてどの程度優れているか？
• RQ4 提案されたフレームワークは、効率的な重み表現とハードウェアマッピングにより、オンチップでの圧縮モデルの保存をどのように可能にするか？
• RQ5 混合精度量子化と最適化された PE 設計は、FPGA 上の物体検出における遅延、スループット、エネルギー効率にどのような影響を与えるか？

主な発見

• REQ-YOLO は、FPGA 上で等間隔量子化と比較して 1.5× 高いパフォーマンスと 1.6× より優れたエネルギー効率を達成した。
• フレームワークはモデルサイズを顕著に縮小したが、精度の低下は最小限に抑えられ、高い検出パフォーマンスを維持した。
• FPGA-YOLO1 は、わずかに性能が低い FPGA を使用しているにもかかわらず、最先端の FPGA に基づく物体検出器よりもパフォーマンスで少なくとも 10× 高い。
• Titan X 上の GPU に基づく YOLO と比較して、FPGA-YOLO0 と FPGA-YOLO1 はそれぞれ 5.7× および 9.4× のパフォーマンス/パワー比（エネルギー効率）で優れている。
• 提案されたフレームワークは、Jetson TX2 の GPU 実装と比較して、エネルギー効率が 3.5× および 5.8× より優れており、7.3× 速く動作し、最大で 2.1× の電力消費しか増加しない。
• テンプレートベースの合成フレームワークにより、効率的で自動化されたハードウェア生成が可能となり、リソース活用の最適化と設計のオーバーヘッド低減が達成された。