[논문 리뷰] Deep Learning based CNN Model for Classification and Detection of Individuals Wearing Face Mask

R. Chinnaiyan, M. Iyyappan외 4명|arXiv (Cornell University)|2023. 11. 17.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 영상 및 영상 스트림에서 마스크를 쓴 개인을 실시간으로 감지하고 분류하기 위한 딥러닝 기반의 CNN 모델을 제안한다. 이미지 사전 처리, 얼굴 자르기, CNN 기반 분류의 세 단계로 구성된 파이프라인을 활용하여, 마스크를 쓴 얼굴를 높은 정확도로 식별함으로써, 비준수자에 대한 보안 경고를 제공하는 자동화된 감시를 가능하게 한다.

ABSTRACT

In response to the global COVID-19 pandemic, there has been a critical demand for protective measures, with face masks emerging as a primary safeguard. The approach involves a two-fold strategy: first, recognizing the presence of a face by detecting faces, and second, identifying masks on those faces. This project utilizes deep learning to create a model that can detect face masks in real-time streaming video as well as images. Face detection, a facet of object detection, finds applications in diverse fields such as security, biometrics, and law enforcement. Various detector systems worldwide have been developed and implemented, with convolutional neural networks chosen for their superior performance accuracy and speed in object detection. Experimental results attest to the model's excellent accuracy on test data. The primary focus of this research is to enhance security, particularly in sensitive areas. The research paper proposes a rapid image pre-processing method with masks centred on faces. Employing feature extraction and Convolutional Neural Network, the system classifies and detects individuals wearing masks. The research unfolds in three stages: image pre-processing, image cropping, and image classification, collectively contributing to the identification of masked faces. Continuous surveillance through webcams or CCTV cameras ensures constant monitoring, triggering a security alert if a person is detected without a mask.

연구 동기 및 목표

• 딥러닝을 활용한 실시간 마스크 감지 및 분류 시스템을 개발한다.
• 마스크를 쓰지 않은 개인을 자동으로 식별하여 민감한 환경에서의 보안을 향상시킨다.
• 최적화된 사전 처리 및 CNN 아키텍처를 통해 마스크 감지의 정확도와 속도를 향상시킨다.
• 웹캠 또는 CCTV를 통해 지속적인 모니터링을 가능하게 하고, 비준수자에 대한 자동 경고 기능을 제공한다.
• 대규모 유행병 기간 동안 공중 보건 및 안전 응용 분야에 활용 가능한 견고하고 구현 가능한 솔루션을 기여한다.

제안 방법

• 이 방법은 세 단계 파이프라인을 사용한다: 얼굴의 가시성을 향상시키기 위한 이미지 사전 처리, Haar 캐스케이드 또는 유사 기법을 통한 얼굴 감지, 그리고 얼굴 영역을 격리하기 위한 자르기.
• 사전 처리 및 자른 얼굴 영상은 특징 추출 및 분류를 위해 맞춤형 컨volutional 신경망(CNN)에 입력된다.
• CNN 모델은 레이블이 부여된 데이터셋을 사용하여 '마스크 착용'과 '마스크 미착용' 클래스를 구분하도록 훈련된다.
• 먼저 얼굴 감지를 수행하여 얼굴 영역을 국소화한 후, 감지된 얼굴 영역에서 마스크 분류를 수행한다.
• 시스템은 영상 스트림에서 실시간 추론을 위해 설계되어 지속적인 감시가 가능하다.
• 마스크가 없는 얼굴이 감지될 경우 보안 경고 메커니즘이 작동하며, CCTV 또는 감시 시스템과의 통합에 적합하다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 CNN 모델이 실시간으로 마스크 착용 여부를 정확하게 분류할 수 있는가?
• RQ2 제안된 세 단계 파이프라인(사전 처리, 자르기, 분류)이 감지 정확도 향상에 얼마나 효과적인가?
• RQ3 모델이 실시간 영상 감시 응용 분야에서 높은 성능을 유지할 수 있는 정도는 어느 정도인가?
• RQ4 실생활 환경에서 다양한 조도, 자세, 가림 상태 조건에서 모델의 성능은 어떻게 되는가?
• RQ5 이 시스템은 마스크 착용 정책을 자동으로 이행하기 위해 민감한 지역에 효과적으로 구현될 수 있는가?

주요 결과

• 시험 데이터에서 마스크 착용 및 비착용 얼굴를 높은 정확도로 분류하여, 통제된 환경과 실생활 조건 모두에서 뛰어난 성능을 입증했다.
• 세 단계 파이프라인은 사전 처리 및 자른 얼굴 영역에 집중함으로써 감지 신뢰도를 크게 향상시켰다.
• 시스템은 영상 스트림의 실시간 처리가 가능하여 기존 감시 인fra구조와의 통합에 적합하다.
• 마스크를 쓰지 않은 개인이 감지될 경우 자동 경고를 발동하여 사전 대응 보안 조치를 지원한다.
• CNN 기반 특징 추출을 사용함으로써 다양한 얼굴 외형과 마스크 유형에 대해 일반화 능력을 향상시켰다.
• 지속적인 모니터링이 필요한 고보안 또는 공중 보건 핵심 환경에서의 구현에 효과적이다.