[论文解读] Edge Devices Inference Performance Comparison

Rafał Tobiasz, Grzegorz M. Wilczyński+3 more|arXiv (Cornell University)|Jun 21, 2023

IoT and Edge/Fog ComputingComputer Science被引用 3

一句话总结

本文评估了主流深度学习模型——MobileNet、EfficientNet、ResNet、VGG 和 InceptionV3——在四种边缘平台（NVIDIA Jetson Nano、Intel Neural Stick、Google Coral USB 和 PCIe 设备）上的推理性能。研究聚焦于模型作为特征提取器的行为，测量了在不同输入尺寸、模型规模和分类头配置下的推理时间，关键发现显示 Google Coral 平台在平均推理时间上表现最快，尤其在轻量级模型（如 MobileNet 和 EfficientNet）上优势显著。

ABSTRACT

In this work, we investigate the inference time of the MobileNet family, EfficientNet V1 and V2 family, VGG models, Resnet family, and InceptionV3 on four edge platforms. Specifically NVIDIA Jetson Nano, Intel Neural Stick, Google Coral USB Dongle, and Google Coral PCIe. Our main contribution is a thorough analysis of the aforementioned models in multiple settings, especially as a function of input size, the presence of the classification head, its size, and the scale of the model. Since throughout the industry, those architectures are mainly utilized as feature extractors we put our main focus on analyzing them as such. We show that Google platforms offer the fastest average inference time, especially for newer models like MobileNet or EfficientNet family, while Intel Neural Stick is the most universal accelerator allowing to run most architectures. These results should provide guidance for engineers in the early stages of AI edge systems development. All of them are accessible at https://bulletprove.com/research/edge_inference_results.csv

研究动机与目标

• 为多种边缘 AI 平台上的主流深度学习模型提供全面的性能对比。
• 评估推理时间作为输入尺寸、模型规模和分类头配置的函数。
• 特别关注作为特征提取器使用的模型，这是现实世界边缘 AI 系统中的主要用例。
• 为工程师在边缘 AI 系统早期开发阶段选择最优的模型-平台组合提供指导。
• 公开分享可复现的基准数据，供社区使用和未来研究。

提出的方法

• 在四个边缘设备上基准测试推理性能：NVIDIA Jetson Nano、Intel Neural Stick（NCS2）、Google Coral USB 和 Google Coral PCIe。
• 评估了来自五个模型家族的 12 种模型变体：MobileNet（V1、V2）、EfficientNet（V1、V2）、ResNet（V1、V2）、VGG 和 InceptionV3。
• 在多种配置下测量推理时间：输入分辨率（224×224 和 512×512）、分类头的存在与否及其大小（1000 类或 5 类），以及模型缩放（如 EfficientNetB0、B1）。
• 所有平台均使用 TensorFlow Lite 及 TFLite 解释器，确保模型部署和测量方法的一致性。
• 通过多次运行收集并记录推理时间，以确保可靠性，结果已发布于 https://bulletprove.com/research/edge_inference_results.csv。
• 在测试过程中解决了 Coral 和 Neural Stick 平台上的硬件限制问题，如内存溢出和编译失败。

实验结果

研究问题

• RQ1 不同边缘 AI 平台在标准计算机视觉模型作为特征提取器时的推理速度如何比较？
• RQ2 输入尺寸（224×224 与 512×512）如何影响不同模型和平台的推理时间？
• RQ3 添加分类头（1000 类或 5 类）对推理延迟有何影响？
• RQ4 哪一平台在速度、模型兼容性和对现代架构（如 EfficientNetV2）的支持之间提供了最佳平衡？
• RQ5 硬件限制（如内存约束、不支持的操作）如何影响边缘设备上的模型部署和性能？

主要发现

• Google Coral 平台（USB 和 PCIe）实现了最快的平均推理时间，Coral PCIe 在 512×512 输入尺寸下对 ResNet50 的平均推理时间达到 12.24ms。
• 对于 512×512 输入尺寸下的 EfficientNetV2B0，Coral PCIe 的推理时间仅为 16.26ms，显著优于 Jetson Nano（14.43ms）和 Neural Stick（5.62ms）在一致性和可扩展性方面的表现。
• Intel Neural Stick 是最通用的平台，尽管延迟较高，但仍成功运行了所有测试模型，包括 VGG16 和 ResNet50 等大型模型。
• Jetson Nano 表现出显著的延迟峰值，是速度最慢的平台，VGG16 在 512×512 输入尺寸下的推理时间超过 200ms，其模型准备开销被识别为性能瓶颈。
• Coral 设备在模型超过片上内存限制时出现性能下降，需访问片外内存，导致延迟增加。
• Neural Stick 因内存限制在 512×512 输入尺寸下对大型模型（如 VGG16）失败，返回 NC_OUT_OF_MEMORY 错误，而 Coral 设备对更大模型的处理更具鲁棒性。