[论文解读] Monocular 2D Camera-based Proximity Monitoring for Human-Machine Collision Warning on Construction Sites

Yuexiong Ding, Xiaowei Luo|arXiv (Cornell University)|May 29, 2023

Occupational Health and Safety ResearchHealth Professions被引用 3

一句话总结

本文提出了一种基于单目2D摄像头的实时施工场地人机碰撞预警系统，利用3D目标检测模型从2D图像中推断空间接近程度，并通过后处理分类器对风险等级（危险、潜在危险、关注、安全）进行分类。该系统在20米范围内实现75%的宽松平均精度（AP）用于3D检测，且在不同大小机械的实时场景中F1分数约为0.8，证明了仅使用标准摄像头即可实现可行性与成本效益。

ABSTRACT

Accident of struck-by machines is one of the leading causes of casualties on construction sites. Monitoring workers' proximities to avoid human-machine collisions has aroused great concern in construction safety management. Existing methods are either too laborious and costly to apply extensively, or lacking spatial perception for accurate monitoring. Therefore, this study proposes a novel framework for proximity monitoring using only an ordinary 2D camera to realize real-time human-machine collision warning, which is designed to integrate a monocular 3D object detection model to perceive spatial information from 2D images and a post-processing classification module to identify the proximity as four predefined categories: Dangerous, Potentially Dangerous, Concerned, and Safe. A virtual dataset containing 22000 images with 3D annotations is constructed and publicly released to facilitate the system development and evaluation. Experimental results show that the trained 3D object detection model achieves 75% loose AP within 20 meters. Besides, the implemented system is real-time and camera carrier-independent, achieving an F1 of roughly 0.8 within 50 meters under specified settings for machines of different sizes. This study preliminarily reveals the potential and feasibility of proximity monitoring using only a 2D camera, providing a new promising and economical way for early warning of human-machine collisions.

研究动机与目标

• 为解决施工场地高发的机械撞击事故，实现对人员与机械接近距离的实时监测。
• 通过仅使用标准2D摄像头，克服现有系统成本过高或缺乏空间感知能力的局限。
• 开发一种与摄像头载体无关的解决方案，实现实时、准确的碰撞预警，无需昂贵传感器或复杂部署。
• 构建并发布一个包含22,000张3D标注图像的虚拟数据集，以支持未来研究与评估。
• 将接近程度划分为四个风险等级——危险、潜在危险、关注、安全——以提供可操作的安全警报。

提出的方法

• 在包含22,000张2D图像的自定义虚拟数据集上训练单目3D目标检测模型，该数据集带有3D边界框标注，用于从单张图像估计深度与空间位置。
• 系统使用后处理分类模块，基于空间阈值将检测到的工人与机械之间的接近程度划分为四个预定义风险等级。
• 通过学习模拟真实施工场地条件（包括光照变化、遮挡和物体尺度差异）的合成数据，实现空间感知。
• 该框架设计为与摄像头载体无关，支持部署于固定摄像头、移动平台或可穿戴设备。
• 3D检测模型经过优化以确保在实际现场条件下具备实时推理性能。
• 采用宽松平均精度（AP）指标评估20米范围内3D检测性能。

实验结果

研究问题

• RQ1 单目2D摄像头系统是否能实现足够的空间感知能力，以在可接受精度下检测并分类人机接近程度？
• RQ2 系统是否能仅使用2D图像实时将接近程度划分为四个明确的风险等级（危险、潜在危险、关注、安全）？
• RQ3 在真实施工环境中，系统在不同机械尺寸及多变环境条件下表现如何？
• RQ4 具有3D标注的合成虚拟数据集在多大程度上能提升施工场地监控中3D目标检测的性能？
• RQ5 仅使用标准2D摄像头，是否可行部署一种低成本、与摄像头载体无关的实时人机碰撞预警系统？

主要发现

• 训练后的3D目标检测模型在20米范围内实现75%的宽松平均精度（AP），证明了从2D图像中具备强大的空间感知能力。
• 完整系统在50米范围内进行接近度分类的F1分数约为0.8，表明在不同机械尺寸下均具备稳健性能。
• 系统可实时运行，适用于动态施工环境的实际部署。
• 包含22,000张3D标注图像的虚拟数据集已公开发布，以支持未来施工场地安全系统的研究与基准测试。
• 该方法被证明具有可行性与成本效益，为替代昂贵的3D传感系统提供了有前景的人机碰撞预警方案。
• 系统与摄像头载体无关，可在各种平台上灵活部署，且性能不受影响。