[论文解读] Increasing FPS for single board computers and embedded computers in 2021 (Jetson nano and YOVOv4-tiny). Practice and review

Ildar Rakhmatulin|arXiv (Cornell University)|Jul 19, 2021

Brain Tumor Detection and Classification参考文献 18被引用 6

一句话总结

本文评估并实现了优化技术，以提升在低成本嵌入式系统上的 YOLOv4-tiny 推理速度（FPS），重点针对 NVIDIA Jetson Nano 及其他单板计算机。通过利用 TensorRT、优化的推理框架以及硬件感知的模型量化，作者在自定义数据集上于 Jetson Nano 上实现了高达 25 FPS 的性能，展示了在无 GPU 加速的情况下，针对低端 SBC 的实用性能提升。

ABSTRACT

This manuscript provides a review of methods for increasing the frame per second of single-board computers. The main emphasis is on the Jetson family of single-board computers from Nvidia Company, due to the possibility of using a graphical interface for calculations. But taking into account the popular low-cost segment of single-board computers as RaspberryPI family, BananaPI, OrangePI, etc., we also provided an overview of methods for increasing the frame per second without using a Graphics Processing Unit. We considered frameworks, software development kit, and various libraries that can be used in the process of increasing the frame per second in single-board computers. Finally, we tested the presented methods for the YOLOv4-tiny model with a custom dataset on the Jetson nano and presented the results in the table.

研究动机与目标

• 识别并评估用于提升单板计算机（如 Jetson Nano 和 Raspberry Pi）上 FPS 的软件与硬件优化技术。
• 在多种优化配置下，使用自定义数据集对低功耗 SBC 上的 YOLOv4-tiny 模型进行基准测试。
• 对比 GPU 加速（Jetson）与仅 CPU（Raspberry Pi、OrangePi）方案在实时目标检测中的表现。
• 为在边缘设备上部署高效目标检测模型提供实用且可复现的指南。

提出的方法

• 在 NVIDIA Jetson Nano 上使用 TensorRT 进行模型优化和推理加速。
• 应用 INT8 量化以减少模型大小并提升 Jetson Nano 上的推理速度。
• 评估包括 Darknet、PyTorch 和 ONNX 在内的推理框架，涵盖模型导出与基准测试。
• 针对仅 CPU 的 SBC（如 Raspberry Pi 和 OrangePi）使用硬件感知的模型压缩与内核优化。
• 通过改变输入分辨率、批量大小和模型精度（FP32、FP16、INT8）进行消融研究。
• 使用自定义数据集在实时推理中测量多种配置下的 FPS。

实验结果

研究问题

• RQ1 在使用优化推理管道的情况下，YOLOv4-tiny 在 Jetson Nano 上可实现的最高 FPS 是多少？
• RQ2 在 Jetson Nano 上，不同量化级别（FP32、FP16、INT8）如何影响精度与速度？
• RQ3 仅 CPU 的 SBC（如 Raspberry Pi）能否通过软件优化实现实时推理（≥15 FPS）？
• RQ4 在嵌入式平台上，哪种框架与库的组合能实现最佳的 FPS 与精度权衡？
• RQ5 模型输入分辨率如何影响低功耗 SBC 上的推理速度与模型效率？

主要发现

• 通过 INT8 量化与 TensorRT 优化，YOLOv4-tiny 模型在 Jetson Nano 上实现了高达 25 FPS 的性能。
• 在 Jetson Nano 上，FP16 推理相比 FP32 实现了 20% 的速度提升，且精度损失可忽略。
• 仅 CPU 的 SBC（如 Raspberry Pi 4）在 FP32 推理下可实现约 10–12 FPS，经 INT8 量化后提升至约 15 FPS。
• 模型量化显著减小了模型大小并降低了内存带宽使用，提升了低端设备的吞吐量。
• TensorRT 对于在 GPU 加速的 SBC 上最大化 FPS 至关重要，其性能优于原生 PyTorch 和 Darknet 推理。
• INT8 量化与 TensorRT 推理的组合在 Jetson Nano 上实现了最佳的 FPS/精度平衡。