[论文解读] Hard hat wearing detection based on head keypoint localization

Bartosz Wójcik, Mateusz Żarski+3 more|arXiv (Cornell University)|Jun 21, 2021

Occupational Health and Safety Research被引用 5

一句话总结

本文提出了一种新颖的深度学习方法，通过结合目标检测、头部关键点定位与基于规则的推理，实现安全帽佩戴检测。该方法在平均平均精度（mAP）上达到67.5%，对未佩戴安全帽者（non-wearers）的AP为64.1%，优于基于边界框关系或直接分类的现有方法，展现出对安全违规行为检测的优越性能。

ABSTRACT

In recent years, a lot of attention is paid to deep learning methods in the context of vision-based construction site safety systems, especially regarding personal protective equipment. However, despite all this attention, there is still no reliable way to establish the relationship between workers and their hard hats. To answer this problem a combination of deep learning, object detection and head keypoint localization, with simple rule-based reasoning is proposed in this article. In tests, this solution surpassed the previous methods based on the relative bounding box position of different instances, as well as direct detection of hard hat wearers and non-wearers. The results show that the conjunction of novel deep learning methods with humanly-interpretable rule-based systems can result in a solution that is both reliable and can successfully mimic manual, on-site supervision. This work is the next step in the development of fully autonomous construction site safety systems and shows that there is still room for improvement in this area.

研究动机与目标

• 解决建筑工人未佩戴安全帽这一导致致命头部伤害的主要原因，对可靠检测的迫切需求。
• 克服现有方法依赖相对边界框位置或直接分类的局限性，这些方法因类别间相似度高且泛化能力差而表现不佳。
• 开发一种结合深度学习与人类可解释规则的系统，以提升对安全违规行为的检测能力。
• 确保解决方案对小尺度实例和部分遮挡具有鲁棒性，这些情况在真实建筑工地图像中普遍存在。
• 提供公开可用的代码库和数据集，以支持建筑工地安全研究中的可复现性与基准测试。

提出的方法

• 训练单阶段目标检测模型（RetinaNet），在图像中同时检测工人和安全帽。
• 训练独立的关键点检测头，以高精度定位人体头部，即使在小尺度或部分遮挡情况下亦可。
• 应用基于规则的推理引擎，检查检测到的安全帽是否在空间上与人员头部关键点对齐。
• 利用几何约束（如IoU、空间接近度）在头部关键点与安全帽边界框之间建立正确佩戴关系的推断。
• 拒绝与任何头部关键点相距较远的安全帽检测结果，从而减少对非佩戴者的误分类。
• 利用基于规则逻辑的简洁性，使决策过程可解释且可审计，避免使用复杂的决策树。

实验结果

研究问题

• RQ1 将头部关键点定位与目标检测相结合，是否能提升与传统基于边界框方法相比的安全帽非佩戴者检测准确率？
• RQ2 将基于规则的推理与深度学习模型结合，是否能增强对建筑工地安全违规行为的检测能力？
• RQ3 所提出方法在小尺度实例和部分遮挡情况下的表现如何？这些是现实建筑工地图像中的常见挑战。
• RQ4 该方法在多大程度上减少了因安全帽佩戴者与非佩戴者之间类别相似度高而导致的误分类？
• RQ5 在安全关键检测任务中，一个简单且人类可解释的规则系统是否能超越复杂的端到端模型？

主要发现

• 所提方法在MS COCO风格评估协议下实现了67.5%的平均平均精度（mAP），高于基于相对边界框位置的基线方法（66.4%）和直接分类基线方法（66.3%）。
• 该方法对安全帽非佩戴者的AP达到64.1%，显著高于两种基线方法的63.0%和60.3%，表明其在检测安全违规行为方面表现更优。
• 模型即使在小尺度实例或头部未完全可见的情况下，仍能成功定位头部关键点，表明其对尺度和遮挡具有鲁棒性。
• 尽管面临小尺度检测挑战，该方法仍优于基线模型，表明关键点定位对准确关系推断具有显著贡献。
• 基于规则的推理引擎有效减少了误报，通过剔除未与头部关键点空间对齐的安全帽检测，提升了系统可靠性。
• 作者强调，该方法的可解释性以及公开发布的代码（barwojcik/hard_hats）支持研究的可复现性，并为未来建筑工地安全研究提供基准支持。