[논문 리뷰] A Computer Vision System to Help Prevent the Transmission of COVID-19

Fevziye İrem Eyiokur, Hazım Kemal Ekenel외 1명|arXiv (Cornell University)|2021. 03. 15.

Face recognition and analysis참고 문헌 44인용 수 11

한 줄 요약

이 논문은 COVID-19 전파를 막기 위해 마스크 착용, 얼굴-손 상호작용, 사회적 거리 측정을 탐지하는 딥러닝 기반 컴퓨터 비전 시스템을 제안한다. ISL-UFMD 및 ISL-UFHD라는 두 개의 새로운 실세계 데이터셋을 훈련에 사용하여, 적응 없이도 새로운 데이터에 대해 높은 정확도와 강한 일반화 성능을 달성한다.

ABSTRACT

The COVID-19 pandemic affects every area of daily life globally. To avoid the spread of coronavirus and retrieve the daily normal worldwide, health organizations advise social distancing, wearing face mask, and avoiding touching face. Based on these recommended protective measures, we developed a deep learning-based computer vision system to help prevent the transmission of COVID-19. Specifically, the developed system performs face mask detection, face-hand interaction detection, and measures social distance. For these purposes, we collected and annotated images that represent face mask usage and face-hand interaction in the real world. We introduce two different face datasets, namely, Interactive Systems Labs Unconstrained Face Mask Dataset (ISL-UFMD) and Interactive Systems Labs Unconstrained Face Hand Interaction Dataset (ISL-UFHD). We trained the proposed models on our own datasets and evaluated them on both our datasets and already existing datasets in the literature without performing any adaptation on these target datasets. Besides, we proposed a distance measurement module to track social distance between people. Experimental results indicate that ISL-UFMD and ISL-UFHD represent the real-world's diversity well. The proposed system achieved very high performance and generalization capacity in a real-world scenario for unseen data from outside the training data to detect face mask usage, face-hand interaction detection, and measuring social distance. The ISL-UFMD and ISL-UFHD datasets will be available at this https URL.

연구 동기 및 목표

• 코로나19 패닉 기간 동안 공중보건 조치를 자동으로 이행할 수 있는 시스템의 긴급한 필요성을 해결하기 위해.
• 실세계 환경에서 마스크 착용, 얼굴-손 상호작용, 사회적 거리를 탐지할 수 있는 비전 시스템을 개발하기 위해.
• 훈련 및 평가를 위해 마스크 착용 및 얼굴-손 상호작용을 나타내는 다양한 실세계 이미지를 수집하고 주석 처리하기 위해.
• 자율적이고 실세계적인 상황을 반영하는 두 개의 새로운 벤치마크 데이터셋인 ISL-UFMD 및 ISL-UFHD를 만들기 위해.
• 도메인 적응 없이도 저자들이 제작한 데이터셋과 기존 공개 데이터셋에서의 성능 및 일반화 능력을 평가하기 위해.

제안 방법

• 실세계 이미지를 수집하고 주석 처리하여 마스크 탐지용 ISL-UFMD 및 얼굴-손 상호작용 탐지용 ISL-UFHD라는 두 개의 새로운 데이터셋을 구축하였다.
• 객체 탐지 및 행동 인식을 위한 엔드 투 엔드 학습 방식으로 ISL-UFMD 및 ISL-UFHD 데이터셋을 기반으로 딥러닝 모델을 훈련시켰다.
• 실시간으로 개인 간 상호 거리를 추정하기 위해 컴퓨터 비전 기법을 활용한 거리 측정 모듈을 구현하였다.
• 도메인 적응 없이도 다양한 환경에서의 새로운 데이터에 대해 강건성을 확보하기 위해 시스템을 설계하였다.
• 저자들이 제작한 데이터셋과 기존 공개 데이터셋을 대상으로 시스템 성능을 평가하여 일반화 능력과 실세계 성능을 점검하였다.
• 표준 객체 탐지 및 자세 추정 아키텍처를 활용하였지만, 초록에서는 구체적인 모델명을 기재하지 않았다.

실험 결과

연구 질문

• RQ1 자율적이고 실세계적인 환경에서 컴퓨터 비전 시스템이 마스크 착용을 효과적으로 탐지할 수 있는가?
• RQ2 얼굴-손 상호작용을 얼마나 정확하게 탐지할 수 있는가? 이는 바이러스 전파와 연관된 핵심 행동이다.
• RQ3 도메인 적응 없이 비전 시스템이 개인 간 사회적 거리를 얼마나 정확하게 측정할 수 있는가?
• RQ4 제안된 모델이 다양한 실세계 환경에서의 새로운 데이터에 얼마나 잘 일반화되는가?
• RQ5 최근 도입된 데이터셋인 ISL-UFMD 및 ISL-UFHD가 실세계 얼굴 관련 행동의 다양성을 충분히 반영하고 있는가?

주요 결과

• ISL-UFMD 및 ISL-UFHD 데이터셋은 실세계 마스크 착용 및 얼굴-손 상호작용의 다양성을 효과적으로 포착한다.
• 제안된 시스템은 저자들이 제작한 데이터셋과 기존 벤치마크 데이터셋 모두에서 마스크 착용 탐지에 높은 성능을 달성하였다.
• 얼굴-손 상호작용 탐지에서 새로운 데이터에 대해 강력한 성능을 보이며, 좋은 일반화 능력을 입증하였다.
• 사회적 거리 측정 모듈은 실세계 상황에서 개인 간 거리를 성공적으로 추적하였다.
• 도메인 적응 없이도 외부 데이터셋에서 높은 정확도를 유지하여, 시스템의 강건성과 이식 가능성(트랜스퍼러빌리티)을 확인하였다.
• ISL-UFMD 및 ISL-UFHD 데이터셋은 향후 연구를 위해 공개되어 있어 재현성과 벤치마크 향상에 기여한다.