[论文解读] A Computer Vision System to Help Prevent the Transmission of COVID-19

Fevziye İrem Eyiokur, Hazım Kemal Ekenel+1 more|arXiv (Cornell University)|Mar 15, 2021

Face recognition and analysis参考文献 44被引用 11

一句话总结

本文提出了一种基于深度学习的计算机视觉系统，用于检测口罩佩戴、面部与手部接触行为，并测量社交距离，以遏制COVID-19传播。该系统在两个新收集的真实世界数据集——ISL-UFMD和ISL-UFHD上进行训练，无需领域自适应即可在未见过的数据上实现高精度和强泛化能力。

ABSTRACT

The COVID-19 pandemic affects every area of daily life globally. To avoid the spread of coronavirus and retrieve the daily normal worldwide, health organizations advise social distancing, wearing face mask, and avoiding touching face. Based on these recommended protective measures, we developed a deep learning-based computer vision system to help prevent the transmission of COVID-19. Specifically, the developed system performs face mask detection, face-hand interaction detection, and measures social distance. For these purposes, we collected and annotated images that represent face mask usage and face-hand interaction in the real world. We introduce two different face datasets, namely, Interactive Systems Labs Unconstrained Face Mask Dataset (ISL-UFMD) and Interactive Systems Labs Unconstrained Face Hand Interaction Dataset (ISL-UFHD). We trained the proposed models on our own datasets and evaluated them on both our datasets and already existing datasets in the literature without performing any adaptation on these target datasets. Besides, we proposed a distance measurement module to track social distance between people. Experimental results indicate that ISL-UFMD and ISL-UFHD represent the real-world's diversity well. The proposed system achieved very high performance and generalization capacity in a real-world scenario for unseen data from outside the training data to detect face mask usage, face-hand interaction detection, and measuring social distance. The ISL-UFMD and ISL-UFHD datasets will be available at this https URL.

研究动机与目标

• 为应对COVID-19大流行期间对自动化系统以强制执行公共卫生措施的迫切需求。
• 开发一种能够在真实世界环境中检测口罩佩戴、面部与手部接触行为及社交距离的视觉系统。
• 收集并标注多样化的、真实世界图像，用于训练和评估口罩佩戴与面部与手部接触行为。
• 创建两个新的基准数据集——ISL-UFMD和ISL-UFHD，用于代表非受限、真实世界场景下的面部相关行为。
• 在无需领域自适应的情况下，评估系统在自建数据集和现有数据集上的性能与泛化能力。

提出的方法

• 收集并标注真实世界图像，形成两个新数据集：ISL-UFMD用于口罩检测，ISL-UFHD用于面部与手部接触检测。
• 使用端到端学习方法，在ISL-UFMD和ISL-UFHD数据集上训练深度学习模型，用于目标检测与动作识别。
• 采用计算机视觉技术实现距离测量模块，实时估算个体之间的社交距离。
• 设计系统时避免领域自适应，确保在不同环境下的未见数据上具有鲁棒性。
• 在作者自建数据集和现有公开数据集上评估系统性能，以衡量其泛化能力和真实世界表现。
• 采用标准的目标检测与姿态估计架构，尽管摘要中未明确具体模型名称。

实验结果

研究问题

• RQ1 计算机视觉系统能否在非受限、真实世界环境中有效检测口罩佩戴？
• RQ2 系统在检测面部与手部接触行为方面准确度如何？该行为与病毒传播密切相关。
• RQ3 在无需领域自适应的情况下，视觉系统在测量个体间社交距离方面能达到何种程度？
• RQ4 所提出的模型在来自不同真实世界环境的未见数据上泛化能力如何？
• RQ5 新引入的数据集ISL-UFMD和ISL-UFHD是否充分代表了真实世界中面部相关行为的多样性？

主要发现

• ISL-UFMD和ISL-UFHD数据集有效捕捉了真实世界中口罩佩戴和面部与手部接触行为的多样性。
• 所提出的系统在作者自建数据集和现有基准数据集上均实现了高精度的口罩佩戴检测性能。
• 面部与手部接触检测在未见数据上表现出色，表明具有良好的泛化能力。
• 社交距离测量模块在真实世界场景中成功跟踪了个体间距离。
• 系统在外部数据集上保持高精度，无需任何适应，证实了其鲁棒性和可迁移性。
• ISL-UFMD和ISL-UFHD数据集对公众开放，有助于未来研究，提升可复现性与基准测试水平。