[논문 리뷰] WearMask: Fast In-browser Face Mask Detection with Serverless Edge Computing for COVID-19

Zekun Wang, Pengwei Wang외 3명|arXiv (Cornell University)|2021. 01. 04.

Face recognition and analysis참고 문헌 18인용 수 27

한 줄 요약

WearMask는 설치 없이 모든 웹 브라우저에서 NCNN과 WebAssembly를 통해 YOLO-Fastest를 실행하는 서버리스 에지 컴퓨팅 프레임워크를 이용해 브라우저 내 얼굴 마스크 감지를 제공합니다.

ABSTRACT

The COVID-19 epidemic has been a significant healthcare challenge in the United States. According to the Centers for Disease Control and Prevention (CDC), COVID-19 infection is transmitted predominately by respiratory droplets generated when people breathe, talk, cough, or sneeze. Wearing a mask is the primary, effective, and convenient method of blocking 80% of all respiratory infections. Therefore, many face mask detection and monitoring systems have been developed to provide effective supervision for hospitals, airports, publication transportation, sports venues, and retail locations. However, the current commercial face mask detection systems are typically bundled with specific software or hardware, impeding public accessibility. In this paper, we propose an in-browser serverless edge-computing based face mask detection solution, called Web-based efficient AI recognition of masks (WearMask), which can be deployed on any common devices (e.g., cell phones, tablets, computers) that have internet connections using web browsers, without installing any software. The serverless edge-computing design minimizes the extra hardware costs (e.g., specific devices or cloud computing servers). The contribution of the proposed method is to provide a holistic edge-computing framework of integrating (1) deep learning models (YOLO), (2) high-performance neural network inference computing framework (NCNN), and (3) a stack-based virtual machine (WebAssembly). For end-users, our web-based solution has advantages of (1) serverless edge-computing design with minimal device limitation and privacy risk, (2) installation free deployment, (3) low computing requirements, and (4) high detection speed. Our WearMask application has been launched with public access at facemask-detection.com.

연구 동기 및 목표

• 설치 장벽과 하드웨어 비용을 줄여 COVID-19 기간 동안 공중 보건을 돕기 위한 접근 가능한 마스크 감지를 촉진한다.
• 로컬에서 데이터를 처리함으로써 사용자의 프라이버시를 보존하는 디바이스에 구애받지 않는 설치 불필요 배포를 제공한다.
• GPU가 없는 엣지 디바이스에 적합한 경량의 빠른 추론 파이프라인을 개발한다.
• 브라우저 기반 배치를 위한 딥러닝(YOLO), 고성능 추론 프레임워크(NCNN), WebAssembly의 통합을 시연한다.

제안 방법

• 가벼운 YOLO-Fastest 탐지기(EfficientNet-lite 인코더)를 혼합 실제 마스크 데이터셋(MAFA, WIDER FACE)과 추가 인터넷 샘플에 대해 학습시킨다.
• PyTorch 모델을 NCNN 형식으로 변환하고 C++ 추론 파이프라인을 구현한다.
• 추론 파이프라인을 WebAssembly로 컴파일하여 NCNN을 통해 WASM 모듈 내에서 브라우저 안에서 실행되게 한다.
• 비디오 데이터를 사용자의 기기에서 로컬로 처리하는 서버리스 에지 컴퓨팅 설계를 구현한다.
• 설치 불필요 배포를 보여주기 위해 facemask-detection.com에서 공개적으로 접속 가능한 브라우저 내 데모를 시작한다.
• 대표적인 엣지 디바이스에서 탐지 성능(mAP@0.5)과 추론 속도를 벤치마크한다.

실험 결과

연구 질문

• RQ1 브라우저 내 서버리스 에지 컴퓨팅이 설치나 클라우드 자원 없이도 정확하고 빠른 얼굴 마스크 감지를 지원할 수 있는가?
• RQ2 WearMask를 브라우저에서 실행할 때 일반적인 엣지 디바이스에서 탐지 정확도(mAP@0.5)와 달성 가능한 FPS는 얼마인가?
• RQ3 WearMask 파이프라인이 YOLO-Fastest, NCNN, WebAssembly를 어떻게 통합하여 디바이스에 구애받지 않는 배치를 가능하게 하는가?
• RQ4 클라우드가 아닌 로컬에서 비디오를 처리하는 것이 가지는 프라이버시 및 배포상의 이점은 무엇인가?

주요 결과

• YOLO-Fastest 모델은 120회 학습 이후 IoU=0.5에서 평균 정밀도(mAP@0.5) 0.89를 달성했다.
• WearMask 프레임워크는 NCNN 및 WebAssembly로 구동되는 브라우저 내 애플리케이션으로 배포되어 설치 불필요하고 디바이스에 구애받지 않는 에지 추론을 가능하게 한다.
• 이 시스템은 엔드 유저 기기에서 로컬로 비디오 데이터를 처리함으로써 낮은 하드웨어 요구사항과 프라이버시를 강조하며, 공개 데모 웹사이트 facemask-detection.com를 제공한다.
• 이 접근법은 공공시설 및 소기업에서의 실시간 상황에 적합한 빠른 탐지를 목표로 하며, 클라우드 기반 솔루션에 비해 비용 효율적인 대안을 제공한다.