[论文解读] An FPGA-Accelerated Design for Deep Learning Pedestrian Detection in Self-Driving Vehicles

Abdallah Moussawi, Kamal Al Haddad+1 more|arXiv (Cornell University)|Sep 16, 2018

Advanced Neural Network Applications参考文献 16被引用 4

一句话总结

本文提出了一种基于FPGA加速的单次多框检测器（SSD），用于自动驾驶车辆中的实时行人检测，在保持最先进误检率性能的同时，将推理速度相比基线SSD提升了4倍。该方法结合超参数调优与16位定点量化，对SSD进行优化以适配Altera Arria 10 FPGA部署，实现在GPU上24 FPS的性能，实现了低延迟、高精度的行人检测，对安全关键型自动驾驶系统至关重要。

ABSTRACT

With the rise of self-driving vehicles comes the risk of accidents and the need for higher safety, and protection for pedestrian detection in the following scenarios: imminent crashes, thus the car should crash into an object and avoid the pedestrian, and in the case of road intersections, where it is important for the car to stop when pedestrians are crossing. Currently, a special topology of deep neural networks called Fused Deep Neural Network (F-DNN) is considered to be the state of the art in pedestrian detection, as it has the lowest miss rate, yet it is very slow. Therefore, acceleration is needed to speed up the performance. This project proposes two contributions to address this problem, by using a deep neural network used for object detection, called Single Shot Multi-Box Detector (SSD). The first contribution is training and tuning the hyperparameters of SSD to improve pedestrian detection. The second contribution is a new FPGA design for accelerating the model on the Altera Arria 10 platform. The final system will be used in self-driving vehicles in real-time. Preliminary results of the improved SSD shows 3% higher miss-rate than F-DNN on Caltech pedestrian detection benchmark, but 4x performance improvement. The acceleration design is expected to achieve an additional performance improvement significantly outweighing the minimal difference in accuracy.

研究动机与目标

• 解决自动驾驶车辆中对实时、高精度行人检测的迫切需求，以预防事故并提升安全性。
• 克服现有融合深度神经网络（F-DNN）的性能瓶颈，其虽误检率低但速度过慢，无法满足实时应用需求。
• 通过超参数调优与量化方法优化单次多框检测器（SSD），以提升检测精度与效率。
• 设计并实现基于Altera Arria 10平台的FPGA加速器，以支持在自动驾驶车辆中实现低延迟、高能效的推理。

提出的方法

• 使用Caltech、ETH和TUD-Brussels行人数据集对SSD进行训练与微调，仅关注'person'标注以提升检测特异性。
• 通过在con4_3层选择3个尺度（4%、7%、8.5%）和单一长宽比（0.41）优化SSD超参数，以更好地匹配行人尺寸与形状分布。
• 采用Ristretto工具实施16位定点量化，降低模型精度的同时保持性能，对每层进行100张测试图像的动态范围分析。
• 通过迁移学习，从PASCAL VOC和COCO数据集上预训练的SSD模型进行微调，以提升收敛速度与检测精度。
• 针对Altera Arria 10平台设计FPGA加速器，以加速优化后SSD模型的推理过程。
• 在Caltech基准上使用标准指标评估模型性能：整体与合理行人条件下的误检率。

实验结果

研究问题

• RQ1 对SSD进行超参数调优是否能显著降低在Caltech行人检测基准上的误检率，同时保持高推理速度？

主要发现

• 优化后的SSD模型在整体行人检测基准上实现了11.88%的误检率，相比默认SSD配置降低了4.16%。
• 该模型在NVIDIA GTX Titan X GPU上实现了24 FPS，是目前在Caltech数据集上报告的最快状态SOTA SSD模型。
• 经过16位定点量化后，模型的误检率仅上升0.01%（至11.89%），表明量化带来的精度损失极小。
• 基于FPGA的加速设计有望显著超越GPU推理性能，具备满足自动驾驶系统实时性要求的潜力。
• 最终系统在高精度（11.88%误检率）与高速度（24 FPS）之间实现良好平衡，相比F-DNN等其他模型在速度上更具优势，同时保持了竞争力的精度。
• 模型优化与FPGA加速的结合，为安全关键型自动驾驶应用中的实时行人检测提供了实用且低延迟的解决方案。