[论文解读] Accelerating Deep Learning Applications in Space

Martina Lofqvist, José Cano|arXiv (Cornell University)|Jul 21, 2020

Advanced Neural Network Applications参考文献 29被引用 9

一句话总结

本文研究了图像压缩技术——无损压缩和图像缩放——以优化在空间中资源受限的边缘设备（特别是NVIDIA Jetson Nano）上实时深度学习推理。通过同时应用这两种技术，作者将推理时间最多减少40分钟，内存使用量减少1050MB，同时保持了极小的精度损失，从而实现在符合CubeSat规格的硬件上处理完整数据集。

ABSTRACT

Computing at the edge offers intriguing possibilities for the development of autonomy and artificial intelligence. The advancements in autonomous technologies and the resurgence of computer vision have led to a rise in demand for fast and reliable deep learning applications. In recent years, the industry has introduced devices with impressive processing power to perform various object detection tasks. However, with real-time detection, devices are constrained in memory, computational capacity, and power, which may compromise the overall performance. This could be solved either by optimizing the object detector or modifying the images. In this paper, we investigate the performance of CNN-based object detectors on constrained devices when applying different image compression techniques. We examine the capabilities of a NVIDIA Jetson Nano; a low-power, high-performance computer, with an integrated GPU, small enough to fit on-board a CubeSat. We take a closer look at the Single Shot MultiBox Detector (SSD) and Region-based Fully Convolutional Network (R-FCN) that are pre-trained on DOTA - a Large Scale Dataset for Object Detection in Aerial Images. The performance is measured in terms of inference time, memory consumption, and accuracy. By applying image compression techniques, we are able to optimize performance. The two techniques applied, lossless compression and image scaling, improves speed and memory consumption with no or little change in accuracy. The image scaling technique achieves a 100% runnable dataset and we suggest combining both techniques in order to optimize the speed/memory/accuracy trade-off.

研究动机与目标

• 解决在低功耗、资源受限的边缘设备（如CubeSats）上部署实时深度学习目标检测器的挑战。
• 克服在轨运行CNN-based目标检测器时因内存、计算能力及功耗受限而导致的实时性能瓶颈。
• 评估在边缘硬件上处理大型卫星图像时，推理速度、内存消耗与精度之间的权衡。
• 识别出可在不造成显著精度下降的前提下，使受限设备能够处理完整数据集的有效图像压缩技术。
• 展示利用低成本、高效率的边缘设备实现轨道上数据处理在地球观测和自主空间应用中的可行性。

提出的方法

• 采用NVIDIA Jetson Nano作为低功耗、高性能的边缘设备，其集成GPU使其适用于CubeSat部署。
• 在DOTA数据集（一个大规模航空图像目标检测数据集）上评估了两个预训练的目标检测模型——SSD和R-FCN。
• 通过将图像分辨率缩小至原始尺寸的80%、50%和30%，应用图像缩放以降低计算负载和内存使用量。
• 应用无损压缩（如PNG）以减少文件大小，同时保持像素尺寸不变，从而保留图像保真度。
• 通过交并比（IoU）评估平均精度，测量性能指标包括推理时间、内存消耗和精度。
• 通过在高性能集群上运行原始尺寸图像建立基线，并将结果与Jetson Nano上的性能进行比较。

实验结果

研究问题

• RQ1 在Jetson Nano上运行目标检测器时，图像缩放和无损压缩如何影响推理时间和内存消耗？
• RQ2 在资源受限的边缘设备上，图像压缩技术在提升速度并减少内存使用的同时，能在多大程度上保持检测精度？
• RQ3 在低功耗GPU上处理大型卫星图像时，推理速度、内存使用量与精度之间的权衡关系如何？
• RQ4 无损压缩与图像缩放的组合能否使像Jetson Nano这样的设备实现对完整数据集的处理，而该设备原本无法处理大尺寸图像？
• RQ5 图像形状（正方形与长方形）如何影响边缘设备上的目标检测精度？

主要发现

• 图像缩放使SSD和R-FCN模型的平均推理时间减少2秒，内存消耗减少1050MB，显著提升了运行时效率。
• 无损压缩使SSD的推理时间减少2.14秒，R-FCN减少1.16秒，且未造成任何精度损失，证明其在速度优化方面的有效性。
• 无损压缩与图像缩放的结合使Jetson Nano能够处理DOTA验证集的100%，克服了初始硬件限制。
• 原始图像中有10%因像素尺寸过高而无法处理，但通过59%的图像压缩，整个数据集得以运行。
• R-FCN在精度上优于SSD（正方形图像为43.2%，高度长方形图像为4.5%），尽管其速度较慢且内存消耗更高。
• 总体而言，经过对最大图像的重采样后，推理时间减少了超过40分钟，凸显了图像预处理带来的显著性能提升。