[논문 리뷰] Hard hat wearing detection based on head keypoint localization

Bartosz Wójcik, Mateusz Żarski외 3명|arXiv (Cornell University)|2021. 06. 21.

Occupational Health and Safety Research인용 수 5

한 줄 요약

이 논문은 객체 검출, 머리 관절점 위치 추정, 규칙 기반 추론을 조합하여 하드햇 착용 여부를 탐지하는 새로운 딥러닝 접근법을 제안한다. 이 방법은 67.5%의 평균 정밀도(평균정밀도, mAP)와 하드햇 미착용자에 대해 64.1%의 정밀도를 달성하여, 기존의 경계상자 관계 기반 또는 직접 분류 기반 방법들을 능가하며, 안전 수칙 위반 탐지 능력이 뛰어나다는 것을 입증한다.

ABSTRACT

In recent years, a lot of attention is paid to deep learning methods in the context of vision-based construction site safety systems, especially regarding personal protective equipment. However, despite all this attention, there is still no reliable way to establish the relationship between workers and their hard hats. To answer this problem a combination of deep learning, object detection and head keypoint localization, with simple rule-based reasoning is proposed in this article. In tests, this solution surpassed the previous methods based on the relative bounding box position of different instances, as well as direct detection of hard hat wearers and non-wearers. The results show that the conjunction of novel deep learning methods with humanly-interpretable rule-based systems can result in a solution that is both reliable and can successfully mimic manual, on-site supervision. This work is the next step in the development of fully autonomous construction site safety systems and shows that there is still room for improvement in this area.

연구 동기 및 목표

• 하드햇을 착용하지 않은 건설 현장 작업자의 신뢰할 수 있는 탐지를 해결해야 하는 중요한 필요성, 이는 치명적인 뇌 손상의 주요 원인이다.
• 기존 방법들이 상대적 경계상자 위치 또는 직접 분류에 의존하는 데서 비롯되는 한계를 극복하며, 이는 높은 클래스 간 유사성과 낮은 일반화 능력으로 이어진다.
• 딥러닝과 인간이 이해할 수 있는 규칙을 조합하여 안전 수칙 위반 탐지 능력을 향상시키는 시스템을 개발한다.
• 실제 건설 현장 이미지에서 흔한 소규모 객체 및 부분적 가림 현상에 대해 강건한 솔루션을 확보한다.
• 재현 가능성과 건설 현장 안전 연구의 벤치마킹을 가능하게 하기 위해 공개된 코드베이스와 데이터셋을 제공한다.

제안 방법

• 이미지 내에서 작업자와 하드햇을 동시에 탐지하기 위해 단일 단계 객체 검출 모델(ReTinaNet)을 훈련한다.
• 소규모 해상도나 부분적 가림 조건에서도 정밀하게 인간의 머리 위치를 추정하기 위해 별도의 관절점 검출 헤드를 훈련한다.
• 검출된 하드햇이 사람의 머리 관절점과 공간적으로 일치하는지 확인하기 위해 규칙 기반 추론 엔진을 적용한다.
• 머리 관절점과 하드햇 경계상자 간의 기하학적 제약(예: IoU, 공간적 근접성)을 활용하여 올바른 착용자 관계를 추론한다.
• 머리 관절점에서 멀리 떨어진 곳에 하드햇이 검출된 경우에 대해 잘못된 양성 결과를 거부하여 비착용자에 대한 오분류를 줄인다.
• 규칙 기반 논리의 단순성을 활용하여 의사결정 과정을 해석 가능하고 감사 가능하게 만들며, 복잡한 결정 트리의 필요성을 피한다.

실험 결과

연구 질문

• RQ1 객체 검출과 머리 관절점 위치 추정을 조합하면 기존의 경계상자 기반 방법에 비해 하드햇 비착용자 탐지 정확도를 향상시킬 수 있는가?
• RQ2 딥러닝 모델에 규칙 기반 추론을 통합하면 건설 현장에서의 안전 수칙 위반 탐지 능력이 향상되는가?
• RQ3 실제 건설 현장 이미지에서 흔한 소규모 객체 및 부분적 가림 상황에서 본 방법의 성능은 어떠한가?
• RQ4 하드햇 착용자와 비착용자 간의 높은 클래스 간 유사성으로 인한 오분류를 어느 정도 줄일 수 있는가?
• RQ5 안전 핵심 탐지 작업에서 복잡한 엔드 투 엔드 모델보다 단순하고 인간이 이해할 수 있는 규칙 기반 시스템이 더 나은 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 MS COCO 스타일 평가 프로토콜에서 평균정밀도(mAP) 67.5%를 달성하여, 상대적 경계상자 위치 기반 및 직접 분류 기반 기준선 방법의 66.4% 및 66.3%를 초월했다.
• 비착용자에 대해 64.1%의 정밀도를 달성하여, 두 기준선 방법의 63.0% 및 60.3%보다 뚜렷이 높게 나타나 안전 수칙 위반 탐지 능력이 뛰어나다는 것을 입증했다.
• 소규모 해상도의 경우나 머리가 완전히 보이지 않는 경우에도 모델이 머리 관절점을 성공적으로 국소화하여 해상도 및 가림에 대한 강건성을 보였다.
• 소규모 탐지 과제에도 불구하고 본 방법은 기준선보다 뛰어난 성능을 유지하여, 관절점 국소화가 정확한 관계 추론에 기여한다는 점을 시사한다.
• 규칙 기반 추론 엔진은 머리 관절점과 공간적으로 일치하지 않는 하드햇을 거부함으로써 잘못된 양성 결과를 효과적으로 줄여 신뢰도를 향상시켰다.
• 저자들은 본 방법의 해석 가능성과 공개된 코드베이스(코드: barwojcik/hard_hats)가 건설 현장 안전 연구 분야의 재현 가능성과 향후 벤치마킹을 지원한다는 점을 강조한다.