[论文解读] Hazard Detection in Supermarkets using Deep Learning on the Edge

M. G. Sarwar Murshed, Edward Verenich+3 more|arXiv (Cornell University)|Feb 29, 2020

Anomaly Detection Techniques and Applications参考文献 11被引用 6

一句话总结

本文提出 EdgeLite，一种轻量级深度学习模型，用于在边缘设备（如 Coral Dev Board 和 Raspberry Pi）上实现实时超市危险检测。该模型在新的超市地面危险公开数据集上进行训练，于 Coral Dev Board 上实现 92.37% 的准确率，优于六种最先进模型，同时保持低内存占用和推理时间，适用于资源受限环境。

ABSTRACT

Supermarkets need to ensure clean and safe environments for both shoppers and employees. Slips, trips, and falls can result in injuries that have a physical as well as financial cost. Timely detection of hazardous conditions such as spilled liquids or fallen items on supermarket floors can reduce the chances of serious injuries. This paper presents EdgeLite, a novel, lightweight deep learning model for easy deployment and inference on resource-constrained devices. We describe the use of EdgeLite on two edge devices for detecting supermarket floor hazards. On a hazard detection dataset that we developed, EdgeLite, when deployed on edge devices, outperformed six state-of-the-art object detection models in terms of accuracy while having comparable memory usage and inference time.

研究动机与目标

• 解决超市地面危险（尤其是液体泄漏和碎屑）缺乏公开数据集的问题。
• 开发一种适合在低功耗边缘设备（内存和处理能力有限）上部署的轻量级深度学习模型。
• 实现实时、设备端推理，以相比云处理降低延迟并提升隐私保护。
• 证明自定义模型可在边缘硬件上实现与现有最先进模型相当的推理速度和内存使用的同时，准确率更高。

提出的方法

• 收集并整理了一个包含 1,500 张标注图像的新公开数据集，涵盖超市地面危险（如液体泄漏和掉落物品）。
• 设计 EdgeLite，一种专为边缘部署优化的自定义卷积神经网络（CNN）架构，参数量更少，运算更高效。
• 使用 TensorFlow 和 MXNet 在高性能台式机上训练模型，优化器为 Adam，批量大小为 32，初始峰值学习率为 0.002，并采用衰减策略。
• 应用模型压缩技术，包括 ONNX 导出、TensorFlow Lite 转换以及通过 edgetpu_compiler 进行 TPU 编译，使模型大小减少超过 65%。
• 将最终模型部署在两种边缘设备上：Coral Dev Board 和 Raspberry Pi，以实现实时推理。
• 统一使用 224×224 尺寸的输入图像，以确保在不同设备和模型之间评估的一致性。

实验结果

研究问题

• RQ1 自定义轻量级 CNN 架构是否能在边缘设备上实现比现有最先进模型更高的超市地面危险检测准确率？
• RQ2 模型压缩与 TPU 编译在不牺牲准确率的前提下，能在多大程度上减少推理时间和内存占用？
• RQ3 在边缘硬件上，EdgeLite 模型与 MobileNetV1、MobileNetV2、InceptionNet V1/V2、ResNet V1 和 GoogleNet 相比，在准确率、延迟和内存占用方面表现如何？
• RQ4 在低功耗边缘设备（如 Raspberry Pi 和 Coral Dev Board）上部署高准确率目标检测模型进行危险检测是否可行？
• RQ5 与基于云的处理相比，使用 EdgeLite 在设备端进行推理是否能显著降低通信成本并减少隐私风险？

主要发现

• EdgeLite 在台式机上达到 92.701% 的准确率，在 Coral Dev Board 上为 92.37%，在 Raspberry Pi 上为 91.981%，在所有设备上均超越了六种最先进模型的准确率。
• 在 Coral Dev Board 上，EdgeLite 的推理时间为 0.506 秒，虽慢于 MobileNetV2（0.268 秒），但仍处于监控应用可接受的实时阈值范围内。
• EdgeLite 在 Coral Dev Board 上使用 5.2 MB 内存，在 Raspberry Pi 上使用 3.1 MB 内存，略高于 MobileNetV2（分别为 5 MB 和 2.74 MB），但仍处于边缘部署的实际可接受范围内。
• 模型压缩流程使原始模型大小减少了超过 65%，从而实现了在存储和内存受限设备上的高效部署。
• Raspberry Pi 整体内存使用效率最高，所有模型在该设备上的内存占用均低于台式机和 Coral Dev Board。
• 包含 1,500 张标注图像的公开数据集填补了超市危险检测基准评估的关键空白，为该领域可复现的研究提供了支持。