[論文レビュー] Monocular 2D Camera-based Proximity Monitoring for Human-Machine Collision Warning on Construction Sites

Yuexiong Ding, Xiaowei Luo|arXiv (Cornell University)|May 29, 2023

Occupational Health and Safety ResearchHealth Professions被引用数 3

ひとこと要約

本論文は、単眼2Dカメラを用いたリアルタイムの建設現場における人間-機械衝突警告システムを提案する。3次元物体検出モデルを活用して2次元画像から空間的接近度を推定し、後処理分類器により危険度レベル（危険、潜在的に危険、懸念、安全）に分類する。20メートル以内で3次元検出のローブな平均適合率（AP）が75％に達し、多様な機械サイズにおいてリアルタイムでF1スコア約0.8を達成しており、標準カメラを用いた実用性とコスト効率の高さが示された。

ABSTRACT

Accident of struck-by machines is one of the leading causes of casualties on construction sites. Monitoring workers' proximities to avoid human-machine collisions has aroused great concern in construction safety management. Existing methods are either too laborious and costly to apply extensively, or lacking spatial perception for accurate monitoring. Therefore, this study proposes a novel framework for proximity monitoring using only an ordinary 2D camera to realize real-time human-machine collision warning, which is designed to integrate a monocular 3D object detection model to perceive spatial information from 2D images and a post-processing classification module to identify the proximity as four predefined categories: Dangerous, Potentially Dangerous, Concerned, and Safe. A virtual dataset containing 22000 images with 3D annotations is constructed and publicly released to facilitate the system development and evaluation. Experimental results show that the trained 3D object detection model achieves 75% loose AP within 20 meters. Besides, the implemented system is real-time and camera carrier-independent, achieving an F1 of roughly 0.8 within 50 meters under specified settings for machines of different sizes. This study preliminarily reveals the potential and feasibility of proximity monitoring using only a 2D camera, providing a new promising and economical way for early warning of human-machine collisions.

研究の動機と目的

• 建設現場における機械にぶつかる事故の発生率の高い問題に対処し、リアルタイムでの接近監視を可能にする。
• 従来のシステムが高コストであるか、空間認識機能を欠いているという限界を克服し、標準2Dカメラのみを用いる。
• カメラ搭載台座に依存しないソリューションを構築し、高価なセンサーや複雑な設定を必要とせずにリアルタイムで高精度な衝突警告を実現する。
• 今後の研究や評価を支援するため、22,000枚の3次元アノテーション付き画像を含む仮想データセットを構築・公開する。
• 接近度を4段階の危険度レベル（危険、潜在的に危険、懸念、安全）に分類し、即効性のある安全アラートを提供する。

提案手法

• 22,000枚の2次元画像に3次元ボクシングボックスアノテーションを施した独自の仮想データセットを用いて、単眼3次元物体検出モデルを学習させ、1枚の画像から距離と空間的位置を推定する。
• システムは、検出された作業者と機械の間の接近度を、空間的しきい値に基づいて4つの事前に定義された危険度レベルに分類する後処理分類モジュールを用いる。
• 空間認識は、照明の変化、隠蔽、物体のスケールの違いを含む、実際の建設現場の状況を模擬した合成データからの学習によって実現する。
• フレームワークはカメラ搭載台座に依存しない設計となっており、固定カメラ、移動プラットフォーム、ウェアラブルデバイスなどに容易に統合可能である。
• 実際の現場環境下でもリアルタイム性能を確保するため、3次元検出モデルの推論速度最適化が行われた。
• 20メートル範囲内の3次元検出性能を評価するために、ローブな平均適合率（AP）指標が用いられた。

実験結果

リサーチクエスチョン

• RQ1 単眼2Dカメラシステムは、十分な空間認識能力を備え、許容できる精度で人間-機械の接近度を検出・分類できるか？
• RQ2 2次元画像のみを用いて、リアルタイムに4つの明確な危険度レベル（危険、潜在的に危険、懸念、安全）に接近度を分類できるか？
• RQ3 実際の建設現場環境下で、異なる機械サイズや変化する環境条件下でも、システムの性能はどのように保たれるか？
• RQ4 3次元アノテーション付きの合成仮想データセットは、建設現場監視における3次元物体検出性能をどの程度向上できるか？
• RQ5 標準2Dカメラのみを用いて、低コストでカメラ搭載台座に依存しないリアルタイム人間-機械衝突警告システムの実装は可能か？

主な発見

• 学習済みの3次元物体検出モデルは、20メートル以内の物体検出で75％のローブな平均適合率（AP）を達成し、2次元画像からの強力な空間認識能力を示した。
• システム全体は、50メートル範囲内で接近度分類のF1スコアが約0.8を達成し、多様な機械サイズにわたり堅牢な性能を示した。
• システムはリアルタイムで動作し、動的な建設現場環境への実用的導入に適している。
• 3次元アノテーション付き22,000枚の画像を含む仮想データセットは、今後の建設現場の安全システム開発およびベンチマーク評価を支援する目的で公開された。
• 本手法は実用的かつコスト効率に優れており、高価な3次元センシングシステムに代わる有望な代替手段を提供した。
• システムはカメラ搭載台座に依存しないため、性能に影響を与えることなく、さまざまなプラットフォームへの柔軟な展開が可能である。