[논문 리뷰] Monocular 2D Camera-based Proximity Monitoring for Human-Machine Collision Warning on Construction Sites

Yuexiong Ding, Xiaowei Luo|arXiv (Cornell University)|2023. 05. 29.

Occupational Health and Safety ResearchHealth Professions인용 수 3

한 줄 요약

이 논문은 표준 2D 카메라를 사용하여 실시간으로 건설 현장에서 인간-기계 충돌 경고를 제공하는 단안 2D 카메라 기반 시스템을 제안한다. 3D 객체 탐지 모델을 활용해 2D 이미지에서 공간적 거리를 추론하고, 후처리 분류기로 위험 수준(위험, 잠재적 위험, 우려, 안전)을 분류한다. 시스템은 20미터 이내에서 3D 탐지에 대해 75%의 루즈 AP를 달성하고 다양한 기계 크기에서 실시간으로 약 0.8의 F1 스코어를 기록하여 표준 카메라를 사용함으로써 실현 가능성과 비용 효율성을 입증한다.

ABSTRACT

Accident of struck-by machines is one of the leading causes of casualties on construction sites. Monitoring workers' proximities to avoid human-machine collisions has aroused great concern in construction safety management. Existing methods are either too laborious and costly to apply extensively, or lacking spatial perception for accurate monitoring. Therefore, this study proposes a novel framework for proximity monitoring using only an ordinary 2D camera to realize real-time human-machine collision warning, which is designed to integrate a monocular 3D object detection model to perceive spatial information from 2D images and a post-processing classification module to identify the proximity as four predefined categories: Dangerous, Potentially Dangerous, Concerned, and Safe. A virtual dataset containing 22000 images with 3D annotations is constructed and publicly released to facilitate the system development and evaluation. Experimental results show that the trained 3D object detection model achieves 75% loose AP within 20 meters. Besides, the implemented system is real-time and camera carrier-independent, achieving an F1 of roughly 0.8 within 50 meters under specified settings for machines of different sizes. This study preliminarily reveals the potential and feasibility of proximity monitoring using only a 2D camera, providing a new promising and economical way for early warning of human-machine collisions.

연구 동기 및 목표

• 건설 현장에서 기계에 의해 치명적인 사고가 빈번히 발생하는 문제를 해결하기 위해 실시간 근접도 모니터링을 가능하게 한다.
• 기존 시스템이 너무 비싸거나 공간 인식 능력이 부족한 점을 보완하기 위해 표준 2D 카메라만을 사용한다.
• 비용이 많이 들지 않으며 복잡한 설정이 필요 없는 카메라 실장 방식에 관계없이 적용 가능한 솔루션을 개발한다.
• 미래 연구 및 평가를 지원하기 위해 22,000장의 3D 레이블이 부여된 이미지를 포함한 가상 데이터셋을 구축하고 공개한다.
• 근접도를 네 가지 위험 수준(위험, 잠재적 위험, 우려, 안전)으로 분류하여 실질적인 안전 경고를 제공한다.

제안 방법

• 22,000장의 2D 이미지로 구성된 자체 제작 가상 데이터셋에 3D 경계상자 레이블을 부여하여 단안 3D 객체 탐지 모델을 훈련시켜 단일 이미지에서 깊이와 공간적 위치를 추정한다.
• 시스템은 후처리 분류 모듈을 사용하여 탐지된 노동자와 기계 간의 근접도를 공간 임계값 기반으로 네 가지 정의된 위험 수준으로 분류한다.
• 공간 인식 능력은 실제 건설 현장 조건(다양한 조명, 가림, 객체 크기 변화 등)을 시뮬레이션한 합성 데이터에서 학습을 통해 달성된다.
• 프레임워크는 카메라 실장 방식에 관계없이 설계되어 고정 카메라, 이동식 플랫폼, 웨어러블 장치 등 다양한 곳에 배포 가능하다.
• 실제 현장 조건에서 실시간 성능를 확보하기 위해 3D 탐지 모델을 추론 속도 최적화하였다.
• 20미터 이내에서 3D 탐지 성능을 평가하기 위해 루즈 평균 정밀도(AP) 지표를 사용한다.

실험 결과

연구 질문

• RQ1 단안 2D 카메라 시스템이 충분한 공간 인식 능력을 확보하여 2D 이미지에서 인간-기계 간 근접도를 수용 가능한 정확도로 탐지하고 분류할 수 있는가?
• RQ2 2D 이미지만을 사용하여 시스템이 실시간으로 네 가지의 구분된 위험 수준(위험, 잠재적 위험, 우려, 안전)으로 근접도를 분류할 수 있는가?
• RQ3 실제 건설 현장 환경에서 다양한 기계 크기와 다양한 환경 조건에서 시스템의 성능은 어떠한가?
• RQ4 3D 레이블이 부여된 합성 가상 데이터셋은 건설 현장 모니터링을 위한 3D 객체 탐지 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 표준 2D 카메라만을 사용하여 저비용이고 카메라 실장 방식에 관계없는 시스템을 실시간 인간-기계 충돌 경고에 배포하는 것이 가능한가?

주요 결과

• 훈련된 3D 객체 탐지 모델은 20미터 이내에서 75%의 루즈 평균 정밀도(AP)를 달성하여 2D 이미지에서 강력한 공간 인식 능력을 입증한다.
• 전체 시스템은 50미터 이내에서 근접도 분류에 대해 약 0.8의 F1 스코어를 기록하여 다양한 기계 크기에서 견고한 성능을 보였다.
• 시스템은 실시간으로 작동하여 다이나믹한 건설 현장 환경에 실질적으로 배포 가능한 것으로 확인되었다.
• 22,000장의 3D 레이블이 부여된 가상 데이터셋은 향후 건설 현장 안전 시스템의 개발 및 벤치마킹을 지원하기 위해 공개되었다.
• 이 접근 방식은 실현 가능하고 비용 효율적이며, 고비용 3D 센서 시스템에 대한 유망한 대안을 제공한다.
• 시스템은 카메라 실장 방식에 관계없이 설계되어 성능을 저하시키지 않고 다양한 플랫폼에 영구적으로 배포 가능하다.