[论文解读] Deep Learning-based Spatio Temporal Facial Feature Visual Speech Recognition

Pangoth Santhosh Kumar, Garika Akshay|arXiv (Cornell University)|Apr 30, 2023

Face recognition and analysis被引用 4

一句话总结

本文提出了一种基于深度学习的视觉语音识别系统，结合视频中的时空面部特征与LSTM网络，实现在低资源设备上的安全、基于密码的认证。该模型在MIRACL-VC1数据集上达到96.1%的准确率，并在仅使用10段正样本视频的情况下仍表现出鲁棒性，有效缓解欺骗攻击，且不依赖语言或音频。

ABSTRACT

In low-resource computing contexts, such as smartphones and other tiny devices, Both deep learning and machine learning are being used in a lot of identification systems. as authentication techniques. The transparent, contactless, and non-invasive nature of these face recognition technologies driven by AI has led to their meteoric rise in popularity in recent years. While they are mostly successful, there are still methods to get inside without permission by utilising things like pictures, masks, glasses, etc. In this research, we present an alternate authentication process that makes use of both facial recognition and the individual's distinctive temporal facial feature motions while they speak a password. Because the suggested methodology allows for a password to be specified in any language, it is not limited by language. The suggested model attained an accuracy of 96.1% when tested on the industry-standard MIRACL-VC1 dataset, demonstrating its efficacy as a reliable and powerful solution. In addition to being data-efficient, the suggested technique shows promising outcomes with as little as 10 positive video examples for training the model. The effectiveness of the network's training is further proved via comparisons with other combined facial recognition and lip reading models.

研究动机与目标

• 解决静态人脸识别系统易受照片或面具欺骗攻击的漏洞。
• 开发一种利用说话过程中动态面部运动的生物特征认证系统，以超越静态面部特征提升安全性。
• 创建一种适用于智能手机等低资源设备的语言无关、无音频的认证方法。
• 确保在不同光照和环境条件下保持高准确率和鲁棒性。
• 在保持高性能的同时最小化数据需求，实现边缘设备的部署。

提出的方法

• 使用预训练的VGGFace模型从视频帧中提取深层面部特征，捕捉与身份相关的空间模式。
• 将提取的面部特征序列输入堆叠的长短期记忆（LSTM）网络，以建模说话过程中面部运动的时序动态。
• 该模型在训练过程中无需知晓密码内容，即可分类判断给定视频片段是否对应于用户预先选择的密码的正确发音。
• 系统在MIRACL-VC1基准数据集和在真实世界多种条件下使用智能手机摄像头收集的自定义数据集上进行评估。
• 通过准确率、特异性、敏感性、AUC以及等错误率（EER）等指标评估模型性能。
• 该架构设计为数据高效，每个用户仅需10段正样本视频即可实现有效训练。

Figure 1: Proposed Architecture built on VGGFace

实验结果

研究问题

• RQ1 结合面部识别与时序面部运动分析的深度学习模型，是否能比静态人脸识别提供更高的安全性？
• RQ2 该模型在真实部署中面对不同光照、背景和视频质量条件下的泛化能力如何？
• RQ3 在保持高准确率和鲁棒性的前提下，该系统在多大程度上可实现极小数据量的训练？
• RQ4 该模型在检测同一个人和不同人欺骗攻击方面有多有效？
• RQ5 该系统能否实现语言无关且无音频，同时仍保持高性能？

主要发现

• 所提出的模型在MIRACL-VC1数据集上达到96.1%的准确率，显示出在视觉语音识别方面的强劲性能。
• 系统保持了高特异性（95.9%）和高敏感性（98.8%），表明对真实用户和攻击者均具有强检测能力。
• 在MIRACL-VC1数据集上EER为0.021，在自定义数据集上为0.030，表明错误接受率和错误拒绝率均较低。
• 在MIRACL-VC1数据集上AUC得分为0.990，在自定义数据集上为0.989，反映出极强的判别能力。
• 即使每个用户仅使用10段正样本视频，系统仍保持有效，凸显其数据效率。
• 在鲁棒性和防欺骗攻击能力方面，该模型优于结合的最先进人脸识别与唇读模型。

Figure 2: Data Preprocessing Pipeline