[論文レビュー] Hard hat wearing detection based on head keypoint localization

Bartosz Wójcik, Mateusz Żarski+3 more|arXiv (Cornell University)|Jun 21, 2021

Occupational Health and Safety Research被引用数 5

ひとこと要約

本稿では、物体検出、頭部キーポイントの局所化、およびルールベースの推論を組み合わせることで、ハードヘッドの着用状況を検出する新しい深層学習手法を提案する。この手法は、67.5%の平均平均精度（mAP）と、ハードヘッド未着用者のための64.1%のAPを達成し、境界ボックスの相対的位置関係や直接分類に依存する従来手法を上回り、安全上の不適合の検出性能が優れていることを示している。

ABSTRACT

In recent years, a lot of attention is paid to deep learning methods in the context of vision-based construction site safety systems, especially regarding personal protective equipment. However, despite all this attention, there is still no reliable way to establish the relationship between workers and their hard hats. To answer this problem a combination of deep learning, object detection and head keypoint localization, with simple rule-based reasoning is proposed in this article. In tests, this solution surpassed the previous methods based on the relative bounding box position of different instances, as well as direct detection of hard hat wearers and non-wearers. The results show that the conjunction of novel deep learning methods with humanly-interpretable rule-based systems can result in a solution that is both reliable and can successfully mimic manual, on-site supervision. This work is the next step in the development of fully autonomous construction site safety systems and shows that there is still room for improvement in this area.

研究の動機と目的

• 頭部損傷による死亡事故の主な原因である、建設作業員のハードヘッド未着用を信頼性高く検出するという重要なニーズに対応する。
• 相対的な境界ボックス位置関係や直接分類に依存する従来手法の限界を克服する。これらの手法は、クラス間の類似性が高く、一般化性能に欠ける。
• 深層学習と人間が理解可能なルールを組み合わせることで、安全上の違反の検出を向上させるシステムを開発する。
• 実際の建設現場の画像で一般的な、小スケールのインスタンスや部分的遮蔽に耐えうる堅牢なソリューションを確保する。
• 再現可能性および建設現場の安全研究におけるベンチマークのため、公開可能なコードベースとデータセットを提供する。

提案手法

• 1段階型の物体検出モデル（RetinaNet）を訓練し、画像内にいる作業員とハードヘッドを同時に検出する。
• 別個のキーポイント検出ヘッドを訓練し、小スケールや部分的遮蔽下でも、人の頭部を高精度に局所化する。
• ルールベースの推論エンジンを適用し、検出されたハードヘッドが人物の頭部キーポイントと空間的に整合しているかを確認する。
• 頭部キーポイントとハードヘッドの境界ボックスとの間に幾何的制約（例：IoU、空間的近接性）を適用し、正しい着用関係を推定する。
• 頭部キーポイントから離れた場所にハードヘッドが検出された場合に、誤って非着用者と分類されるのを防ぐために、誤検出を排除する。
• ルールベース論理の単純さを活かし、意思決定を解釈可能かつ監査可能に保ち、複雑な意思決定ツリーを回避する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスベースの従来手法と比較して、頭部キーポイントの局所化と物体検出を組み合わせることで、ハードヘッド未着用者の検出精度が向上するか？
• RQ2 深層学習モデルにルールベースの推論を統合することで、建設現場における安全上の不適合の検出性能が向上するか？
• RQ3 本手法は、実際の建設現場の画像で一般的な小スケールのインスタンスや部分的遮蔽下でも、どのように性能を発揮するか？
• RQ4 ハードヘッド着用者と未着用者の間の高いクラス内類似性に起因する誤分類を、どの程度低減できるか？
• RQ5 安全が重要な検出タスクにおいて、単純で人間が理解可能なルールシステムが、複雑なエンドツーエンドモデルを上回る性能を発揮できるか？

主な発見

• 提案手法は、MS COCOスタイルの評価プロトコルにおいて67.5%の平均平均精度（mAP）を達成し、境界ボックスの相対的位置関係に基づくベースライン手法の66.4%および直接分類に基づく手法の66.3%を上回った。
• ハードヘッド未着用者に対するAPは64.1%に達したが、2つのベースライン手法の63.0%および60.3%を大きく上回り、安全上の違反の検出性能が優れていることを示している。
• 小スケールのインスタンスや頭部が完全に可視でない場合でも、頭部キーポイントを正確に局所化できたため、スケールおよび遮蔽に対する耐性が確認された。
• 小スケール検出の課題が存在する中でも、本手法はベースラインより優れた性能を維持しており、キーポイントの局所化が正確な関係推定に寄与していることが示された。
• ルールベースの推論エンジンにより、頭部キーポイントと空間的に整合しないハードヘッドを除外することで、誤検出が効果的に低減された。
• 著者らは、本手法の解釈可能性と、コードがbarwojcik/hard_hatsで公開されていることにより、建設現場の安全研究における再現可能性と今後のベンチマークの実施が支援されることを強調している。