[论文解读] Deep Learning on Edge TPUs

Andreas M. Kist, Kist, Andreas M|arXiv (Cornell University)|Aug 31, 2021

CCD and CMOS Imaging Sensors被引用 11

一句话总结

本文综述了谷歌边缘TPU作为边缘设备上部署深度神经网络的低功耗、高效率硬件加速器，尤其适用于计算机视觉任务。研究表明，当模型可容纳于其内存时，边缘TPU在每瓦功耗的推理速度方面优于其他加速器，实现了极低延迟和功耗的实时设备端图像与视频处理。

ABSTRACT

Computing at the edge is important in remote settings, however, conventional hardware is not optimized for utilizing deep neural networks. The Google Edge TPU is an emerging hardware accelerator that is cost, power and speed efficient, and is available for prototyping and production purposes. Here, I review the Edge TPU platform, the tasks that have been accomplished using the Edge TPU, and which steps are necessary to deploy a model to the Edge TPU hardware. The Edge TPU is not only capable of tackling common computer vision tasks, but also surpasses other hardware accelerators, especially when the entire model can be deployed to the Edge TPU. Co-embedding the Edge TPU in cameras allows a seamless analysis of primary data. In summary, the Edge TPU is a maturing system that has proven its usability across multiple tasks.

研究动机与目标

• 评估边缘TPU在资源受限、远程环境中的深度学习模型部署能力。
• 识别将DNN模型部署到边缘TPU硬件所需的关键技术步骤与约束条件。
• 从速度、功耗效率和支持操作的角度，对比边缘TPU与其他硬件加速器（如NVIDIA Jetson、Intel Movidius）的性能表现。
• 探索边缘TPU在智能摄像头、物联网设备及多模态数据处理等实际应用中的潜力。
• 评估边缘TPU的局限性，特别是其仅支持int8精度和操作支持不完整的问题，并提出缓解策略。

提出的方法

• 作者对边缘TPU架构进行了全面综述，重点分析其硬件规格、支持的操作类型以及推理性能。
• 通过TensorFlow Lite评估了模型部署工作流，包括模型量化和转换为边缘TPU兼容格式的过程。
• 研究分析了在多个计算机视觉任务（如图像分类、语义分割）中的基准测试结果，采用每瓦每秒处理图像数等标准化指标。
• 作者考察了实际部署案例，包括集成到智能摄像头（如Darcy、Vision AI、MP Cam）和网络附加存储系统中的应用。
• 讨论了架构调整与微调技术，以缓解在边缘TPU上部署模型时可能出现的性能下降问题。
• 本文还对各类加速器的精度支持（仅int8）和操作覆盖范围（截至2021年7月约50%的操作存在已知限制）进行了对比分析。

实验结果

研究问题

• RQ1 在深度学习模型的推理效率和功耗方面，边缘TPU与其他硬件加速器相比如何？
• RQ2 将DNN模型部署到边缘TPU的关键技术挑战和必要步骤是什么？
• RQ3 在哪些计算机视觉任务中，边缘TPU表现出优越性能，其适用条件是什么？
• RQ4 边缘TPU在支持的操作类型和精度方面存在哪些局限性，如何加以解决？
• RQ5 未来在多模态或嵌入式物联网系统中，边缘TPU有哪些可行的应用？

主要发现

• 边缘TPU可实现高达2 TOPS每瓦的性能，在选定模型上，其每瓦每秒处理图像数的表现优于其他加速器。
• 当整个模型可容纳于其片上内存时，边缘TPU在实现高速、低延迟推理方面表现尤为出色。
• 尽管存在局限性，通过架构调整与微调，即使仅使用int8精度，模型的准确性仍可得以保持。
• 截至2021年7月，边缘TPU支持的操作集正在扩大，但约50%的操作仍存在已知限制。
• 集成边缘TPU的智能摄像头可实现设备端直接图像分析，仅传输推理结果，显著降低带宽使用。
• 边缘TPU非常适合在远程或低功耗环境中进行边缘部署，如物联网设备和嵌入式系统。