[论文解读] Face Mask Assistant: Detection of Face Mask Service Stage Based on Mobile Phone

Yuzhen Chen, Menghan Hu+5 more|arXiv (Cornell University)|Oct 9, 2020

COVID-19 diagnosis using AI参考文献 40被引用 14

一句话总结

该论文提出了一种基于智能手机的系统，利用手机显微镜和GLCM纹理分析技术检测外科口罩的使用阶段——'正常使用'、'预警提醒'或'不建议使用'，通过KNN分类在显微照片上实现了82.87% ± 8.50%的精确度，为COVID-19大流行期间安全延长口罩使用提供了低成本、便携的解决方案。

ABSTRACT

Coronavirus Disease 2019 (COVID-19) has spread all over the world since it broke out massively in December 2019, which has caused a large loss to the whole world. Both the confirmed cases and death cases have reached a relatively frightening number. Syndrome coronaviruses 2 (SARS-CoV-2), the cause of COVID-19, can be transmitted by small respiratory droplets. To curb its spread at the source, wearing masks is a convenient and effective measure. In most cases, people use face masks in a high-frequent but short-time way. Aimed at solving the problem that we don't know which service stage of the mask belongs to, we propose a detection system based on the mobile phone. We first extract four features from the GLCMs of the face mask's micro-photos. Next, a three-result detection system is accomplished by using KNN algorithm. The results of validation experiments show that our system can reach a precision of 82.87% (standard deviation=8.5%) on the testing dataset. In future work, we plan to expand the detection objects to more mask types. This work demonstrates that the proposed mobile microscope system can be used as an assistant for face mask being used, which may play a positive role in fighting against COVID-19.

研究动机与目标

• 为解决日常生活中缺乏用于判断常用外科口罩使用阶段的工具的问题。
• 开发一种便携、低成本且易于使用的系统，基于视觉退化程度评估口罩可用性。
• 通过检测口罩不再适合使用的时间点，提高口罩使用效率并减少短缺期间的浪费。
• 验证高分辨率显微照片相较于标准手机摄像头图像在准确检测中的必要性。
• 探索将检测简化为二分类模型以实现实际部署的可行性。

提出的方法

• 使用固定在智能手机上的手机显微镜拍摄使用过的外科口罩的显微照片。
• 从显微照片的灰度共生矩阵（GLCM）中提取四种纹理特征——对比度、相关性、能量和同质性。
• 应用K近邻（KNN）算法，将口罩分类为三种使用阶段之一：'正常使用'、'预警提醒'或'不建议使用'。
• 在不同使用时长下收集的显微照片数据集上验证系统性能，结果以精确度和标准差报告。
• 比较标准手机摄像头图像与显微照片在检测性能上的差异，以评估高分辨率成像的必要性。
• 提出一种简化的二分类模型，将'正常使用'和'预警提醒'合并为单一的'正常使用'类别，以提高准确率。

实验结果

研究问题

• RQ1 从使用过的外科口罩的显微照片中提取的纹理特征能否可靠指示其使用阶段？
• RQ2 当使用标准手机摄像头图像与高分辨率显微照片时，检测系统的性能如何变化？
• RQ3 与三分类分类相比，简化为二分类模型是否能提高检测准确率？
• RQ4 纹理特征（如对比度、同质性）的变化在多大程度上与口罩使用时间的增加相关？
• RQ5 基于智能手机的系统，结合低成本手机显微镜，是否在实时、移动场景下实现口罩使用阶段检测方面具有可行性与有效性？

主要发现

• 所提出的系统在基于GLCM纹理特征的KNN分类下，对口罩三类使用阶段的分类精确度达到82.87% ± 8.50%。
• 使用手机显微镜拍摄的显微照片揭示了口罩孔隙中微小液滴和杂质等关键细节，这些在标准手机摄像头图像中无法识别。
• 标准手机摄像头图像错误地将一个'不建议使用'的口罩分类为'正常使用'，凸显了本系统中高分辨率显微照片的关键必要性。
• 将'正常使用'和'预警提醒'合并为单一'正常使用'类别的二分类模型，通过降低分类复杂度，将准确率提升至88.51%。
• 随着口罩使用时间延长，对比度和相关性增加，而能量和同质性降低，表明纹理退化可被量化并随时间持续变化。
• 本系统表明，显微照片的纹理分析可作为一种实用且便携的工具，用于在公共卫生危机期间延长安全口罩使用。