[논문 리뷰] Real-time Face Mask Detection in Video Data

Yuchen Ding, Zichen Li외 1명|arXiv (Cornell University)|2021. 05. 05.

Face recognition and analysis참고 문헌 2인용 수 12

한 줄 요약

이 논문은 딥러닝을 사용하여 실시간으로 마스크 착용 여부를 감지하는 두 가지 파이프라인을 제시한다: 하나는 사전 훈련된 얼굴 검출기와 합성 데이터 기반 분류기의 조합이며, 다른 하나는 실제 영상에 맞게 미세조정된 일단계 객체 검출기(YOLO)를 사용한다. YOLO 기반 파이프라인은 89%의 mAP(0.5)와 52 FPS를 기록하여 실시간 감시 시스템에 적용할 경우 높은 효율성과 뛰어난 성능을 입증하였다.

ABSTRACT

In response to the ongoing COVID-19 pandemic, we present a robust deep learning pipeline that is capable of identifying correct and incorrect mask-wearing from real-time video streams. To accomplish this goal, we devised two separate approaches and evaluated their performance and run-time efficiency. The first approach leverages a pre-trained face detector in combination with a mask-wearing image classifier trained on a large-scale synthetic dataset. The second approach utilizes a state-of-the-art object detection network to perform localization and classification of faces in one shot, fine-tuned on a small set of labeled real-world images. The first pipeline achieved a test accuracy of 99.97% on the synthetic dataset and maintained 6 FPS running on video data. The second pipeline achieved a mAP(0.5) of 89% on real-world images while sustaining 52 FPS on video data. We have concluded that if a larger dataset with bounding-box labels can be curated, this task is best suited using object detection architectures such as YOLO and SSD due to their superior inference speed and satisfactory performance on key evaluation metrics.

연구 동기 및 목표

• 코로나19 패an드믹 기간 동안 영상 스트림에서 마스크를 제대로 착용했는지 여부를 실시간으로 감지할 수 있는 시스템을 개발하기 위해.
• 마스크 감지 파이프라인에서 정확도와 추론 속도 간의 상호 상충 관계를 평가하기 위해.
• 두 가지 다른 딥러닝 접근 방식을 비교하기 위해: 이단계 얼굴 검출기 + 분류기 파이프라인과 일단계 객체 검출 파이프라인.
• 합성 데이터와 소규모 실세계 데이터셋 간의 성능 및 타당성을 평가하기 위해.
• 자동화된 마스크 감지 시스템의 편향, 보안, 실세계 배포 리스크에 대한 장기적 영향을 탐색하기 위해.

제안 방법

• 영상 프레임에서 얼굴를 추출하기 위해 사전 훈련된 MTCNN을 얼굴 검출기로 사용하였다.
• 정확히 착용된 마스크, 잘못 착용된 마스크, 마스크 미착용의 세 가지 클래스를 포함한 18만 장의 합성 이미지 데이터셋을 기반으로 마스크 착용 이미지 분류기를 훈련시켰다.
• 얼굴 바운딩 박스와 마스크 착용 레이블이 포함된 14,233장의 레이블이 부여된 실세계 데이터셋에 맞게 YOLOv5를 일단계 객체 검출기로 미세조정하였다.
• 정확도 향상과 효율성 향상을 위해 지식 증류 기법을 적용하였으며, 노이즈가 있는 교사 및 자기학습 방법을 포함하였다.
• 표준 평가 지표를 사용하여 모델 성능을 평가하였으며, 테스트 정확도, mAP(0.5), 실시간 추론을 위한 프레임 당 초수(FPS)를 사용하였다.
• 적대적 공격에 대한 강건성 및 보안 고려 사항을 탐색하였으며, 증류를 통한 모델 강화 및 잠재적 공격 벡터를 포함하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 얼굴 검출기와 합성 데이터 기반 분류기를 사용하는 이단계 파이프라인이 마스크 감지에서 높은 정확도와 실시간 성능을 달성할 수 있는가?
• RQ2 실세계 영상 데이터에서 YOLO와 같은 일단계 객체 검출 모델의 성능은 이단계 파이프라인 대비 mAP와 추론 속도 측면에서 어떻게 비교되는가?
• RQ3 지식 증류 기법이 경량 모델의 정확도를 향상시키는 데 얼마나 기여하는가? 이는 추론 속도를 희생시키지 않고도 가능한가?
• RQ4 공공 감시 환경에 자동화된 마스크 감지 시스템을 배포함에 있어 주요 위험 요소와 윤리적 우려 사항은 무엇인가?
• RQ5 실세계 배포 환경에서 적대적 공격 및 데이터 오염에 대비해 모델의 강건성을 어떻게 향상시킬 수 있는가?

주요 결과

• 이단계 파이프라인은 합성 데이터셋에서 테스트 정확도 99.97%를 기록하였고, 실시간 영상 데이터에서 6 FPS를 유지하였다.
• 일단계 YOLO 기반 파이프라인은 실세계 이미지에서 89%의 mAP(0.5) 성능을 기록하였고, 52 FPS를 유지하여 뛰어난 실시간 성능을 입증하였다.
• 지식 증류 기법이 모델 정확도를 크게 향상시켰으며, 한 실험에선 반복적 증류 기법을 통해 소규모 샘플에서 정확도가 37%에서 96.5%로 상승하는 결과를 보였다.
• 연구는 YOLO 및 SSD와 같은 객체 검출 아키텍처가 더 큰 레이블이 부여된 데이터셋이 확보된 경우 이 작업에 더 적합하다고 결론 내렸다. 이는 뛰어난 속도와 성능 덕분이었다.
• 보안 리스크로는 적대적 공격 및 데이터 프라이버시 유출이 주요 우려 사항으로 지목되었으며, 모델 강화 및 접근 제어와 같은 대응 전략이 필요하다고 제안되었다.
• 편향 평가 및 인구 통계적 공정성 테스트는 실세계 배포 이전에 반드시 수행되어야 할 핵심 과제로 강조되었다. 이는 차별적인 결과를 방지하기 위함이다.