[论文解读] A deep learning based solution for construction equipment detection: from development to deployment

Saeed Arabi, Arya Haghighat+1 more|arXiv (Cornell University)|Apr 18, 2019

Infrastructure Maintenance and Monitoring参考文献 47被引用 15

一句话总结

本文提出了一套完整的深度学习流水线，用于实时检测建筑设备，涵盖数据集准备、基于YOLO的模型训练、优化及在嵌入式系统上的部署。该方法在低成本硬件上实现了超过90%的准确率和实时推理，验证了其在施工现场用于安全与生产效率监控的实际部署可行性。

ABSTRACT

This paper aims at providing researchers and engineering professionals with a practical and comprehensive deep learning based solution to detect construction equipment from the very first step of its development to the last one which is deployment. This paper focuses on the last step of deployment. The first phase of solution development, involved data preparation, model selection, model training, and model evaluation. The second phase of the study comprises of model optimization, application specific embedded system selection, and economic analysis. Several embedded systems were proposed and compared. The review of the results confirms superior real-time performance of the solutions with a consistent above 90% rate of accuracy. The current study validates the practicality of deep learning based object detection solutions for construction scenarios. Moreover, the detailed knowledge, presented in this study, can be employed for several purposes such as, safety monitoring, productivity assessments, and managerial decisions.

研究动机与目标

• 开发一种实用的、端到端的深度学习解决方案，用于在真实场景中检测建筑设备。
• 优化训练好的模型，以适用于资源受限的嵌入式系统，满足现场施工监控需求。
• 评估不同嵌入式平台在实时目标检测中的性能与经济可行性。
• 支持在施工现场实现安全监控、生产效率评估和管理决策应用。

提出的方法

• 作者采用YOLOv2作为基础目标检测架构，以实现实时推理。
• 通过对自建的施工现场图像数据集进行数据增强和标注，提升模型泛化能力。
• 模型优化包括知识蒸馏和量化，以减小模型尺寸并降低推理延迟。
• 基于准确率、速度和成本，评估多种嵌入式系统（如NVIDIA Jetson Nano、TX2和Raspberry Pi）的部署性能。
• 开展系统性的经济分析，比较不同硬件平台的总体拥有成本。
• 最终系统在选定的嵌入式平台上完成部署，具备实时推理能力。

实验结果

研究问题

• RQ1 在复杂现场环境中，实时建筑设备检测的最优深度学习模型架构是什么？
• RQ2 如何在降低模型尺寸和推理延迟的同时保持模型性能，以实现边缘部署？
• RQ3 哪种嵌入式硬件平台在准确率、速度和成本之间提供了最佳平衡，适用于现场施工监控？
• RQ4 该系统在不同规模施工现场的部署具有经济可行性吗？

主要发现

• 最终部署的系统在真实施工现场图像上实现了超过90%的稳定检测准确率。
• 模型量化和知识蒸馏使模型尺寸减少50%以上，且准确率下降极小。
• NVIDIA Jetson Nano在推理速度（25 FPS）和成本之间提供了最佳平衡，实现了实时性能。
• 该系统在所有测试的嵌入式平台上均保持实时推理（≥20 FPS），在Jetson TX2上性能最高。
• 经济分析表明，与高端替代方案相比，Jetson Nano的总体拥有成本显著更低。
• 该解决方案被验证为在建筑安全与生产效率监控的实际应用中具有实用性和可扩展性。