[논문 리뷰] COVID-19 personal protective equipment detection using real-time deep learning methods

Shayan Khosravipour, Erfan Taghvaei외 1명|arXiv (Cornell University)|2021. 03. 27.

Infection Control and Ventilation참고 문헌 32인용 수 6

한 줄 요약

이 논문은 8,250장의 이미지로 훈련된 YOLOv3 및 SSD MobileNet 모델을 사용하여 공공 공간에서 마스크와 장갑을 실시간으로 감지하는 딥러닝 시스템을 제안한다. 다중 클래스 감지(마스크, 비마스크, 장갑, 비장갑, 부적절)에서 YOLO의 mAP는 90.6%, SSD의 mAP는 85.5%를 기록하여 패닉 제어를 지원하기 위해 부적절한 PPE 사용을 높은 정확도로 식별함을 보여준다.

ABSTRACT

The exponential spread of COVID-19 in over 215 countries has led WHO to recommend face masks and gloves for a safe return to school or work. We used artificial intelligence and deep learning algorithms for automatic face masks and gloves detection in public areas. We investigated and assessed the efficacy of two popular deep learning algorithms of YOLO (You Only Look Once) and SSD MobileNet for the detection and proper wearing of face masks and gloves trained over a data set of 8250 images imported from the internet. YOLOv3 is implemented using the DarkNet framework, and the SSD MobileNet algorithm is applied for the development of accurate object detection. The proposed models have been developed to provide accurate multi-class detection (Mask vs. No-Mask vs. Gloves vs. No-Gloves vs. Improper). When people wear their masks improperly, the method detects them as an improper class. The introduced models provide accuracies of (90.6% for YOLO and 85.5% for SSD) for multi-class detection. The systems' results indicate the efficiency and validity of detecting people who do not wear masks and gloves in public.

연구 동기 및 목표

• 공공 지역에서 마스크와 장갑의 적절한 사용과 부적절한 사용을 자동으로 감지하기 위한 시스템을 개발하여 코로나19 전파를 줄이기.
• 8,250장의 이미지로 구성된 자체 제작 데이터셋에서 YOLOv3와 SSD MobileNet 두 가지 딥러닝 모델의 성능을 평가하여 다중 클래스 PPE 감지에 응용.
• 모델의 정확도를 분석하여 적절한, 잘못된, 또는 부재인 PPE 사용, 특히 잘못된 마스크 착용 여부를 식별하는 능력 평가.
• 팬데믹 기간 동안 공중 보건 지침 이행을 위한 감시 및 시행에 적합한 확장 가능한 실시간 솔루션 제공.

제안 방법

• 인터넷에서 수집한 8,250장의 이미지로 구성된 자체 제작 데이터셋을 사용하여 DarkNet 프레임워크를 활용해 YOLOv3를 훈련하고, SSD MobileNet을 사용해 객체 감지를 수행.
• 전이 학습을 적용하여 두 모델을 다섯 클래스 감지 작업(마스크, 비마스크, 장갑, 비장갑, 부적절)에 맞추어 미세 조정.
• 평가 지표로 평균 평균 정밀도(mAP)와 평균 평균 재현율(mAR)을 사용하며, IOU 임계값 범위는 0.5에서 0.95까지 설정.
• 정밀도(정확도)를 위해 진짜 양성(TP)은 IOU ≥ 임계값인 경우로 정의하고, 거짓 양성(FP)은 IOU < 임계값인 경우로 정의하며, 거짓 음성(FN)은 누락된 진짜 값으로 정의.
• 최대 감지 수(maxDets=1, 10, 100)를 사용하여 다양한 객체 크기(작은, 중간, 큰)와 감지 신뢰도 수준에서 성능 평가.
• 실제 환경 조건에서 모델의 동작을 평가하기 위해 감지 결과 및 잘못 분류된 예시에 대한 정성적 분석 수행.

실험 결과

연구 질문

• RQ1 YOLOv3와 SSD MobileNet은 실시간 공공 감시 환경에서 마스크, 장갑, 부적절한 사용과 같은 다중 PPE 클래스를 얼마나 효과적으로 감지하는가?
• RQ2 다양한 IOU 임계값과 객체 크기에서 YOLOv3와 SSD MobileNet의 mAP 및 mAR 성능을 비교하면 어떻게 되는가?
• RQ3 모델들은 실생활 구현에서 매우 도전적인 클래스인 잘못 착용된 마스크와 장갑를 감지하는 데 얼마나 잘 성과를 내는가?
• RQ4 복잡한 공공 환경에서 작은 객체, 예를 들어 장갑과 같은 소형 객체에 대해 일반화 능력이 있는가?
• RQ5 공공 안전 시스템에 구현하기 위해 정확도, 추론 속도, 계산 효율성 간의 균형을 고려할 때 어떤 모델이 더 나은 성능을 내는가?

주요 결과

• YOLOv3는 IOU=0.5일 때 mAP 90.6%를 기록하여 SSD MobileNet의 85.5%보다 높은 전체 감지 정확도를 보이며 우월한 성능을 입증.
• YOLOv3는 IOU 임계값 전반에서 소형 객체, 특히 장갑 감지에서 더 높은 정밀도와 더 나은 국소화 능력을 보이며 SSD를 압도.
• SSD는 IOU=0.75일 때 진짜 값 상자와 더 잘 일치하지만, 실생활 공공 감시 환경에서는 감지 정확도가 더 중요하기에 이는 덜 중요한 요소.
• YOLOv3는 '부적절' 클래스에서 뛰어난 성능을 보이며, 비준수자에 대한 거짓 음성 수를 줄였다.
• YOLOv3는 모든 객체 크기에서 높은 정밀도를 유지한 반면, SSD는 특히 장갑과 같은 소형 객체에서 어려움을 겪었다.
• 낮은 mAP에도 불구하고, SSD는 최대 감지 수 100일 때 평균 재현율 58.6%를 기록하여 YOLOv3의 52.5%보다 높은 감지 커버리지 수준을 보이며, 높은 감지 임계값 조건에서도 우수한 성능을 보였다.