[论文解读] A Study on Lip Localization Techniques used for Lip reading from a Video

S. D. Lalitha, K. K. Thyagharajan|arXiv (Cornell University)|Sep 28, 2020

Speech and Audio Processing参考文献 13被引用 5

一句话总结

本文研究并比较了多种基于视频的唇读技术中的唇部定位方法，重点关注其对面部不对称、牙齿、舌头和面部毛发的鲁棒性。提出了一种结合首帧初始唇部检测、跨帧时间跟踪以及视觉特征到字母映射的流程，并在包含噪声或无音频的复杂现实条件下进行了评估。

ABSTRACT

In this paper some of the different techniques used to localize the lips from the face are discussed and compared along with its processing steps. Lip localization is the basic step needed to read the lips for extracting visual information from the video input. The techniques could be applied on asymmetric lips and also on the mouth with visible teeth, tongue & mouth with moustache. In the process of Lip reading the following steps are generally used. They are, initially locating lips in the first frame of the video input, then tracking the lips in the following frames using the resulting pixel points of initial step and at last converting the tracked lip model to its corresponding matched letter to give the visual information. A new proposal is also initiated from the discussed techniques. The lip reading is useful in Automatic Speech Recognition when the audio is absent or present low with or without noise in the communication systems. Human Computer communication also will require speech recognition.

研究动机与目标

• 识别并评估适用于基于视频的唇读系统的有效唇部定位技术。
• 解决唇部检测中的挑战，如面部不对称、可见牙齿、舌头和面部毛发。
• 开发一种结合精确定位、时间跟踪和视觉到字母映射的鲁棒唇读流程。
• 通过视觉线索提升在低信噪比或音频退化环境下的自动语音识别（ASR）性能。
• 通过在真实世界条件下增强视觉语音识别，支持人机交互。

提出的方法

• 在视频的第一帧中使用基于颜色的分割和边缘检测进行初始唇部定位。
• 应用主动形状模型（AAMs）或可变形模型，在面部变化下优化唇部边界检测。
• 通过基于初始检测唇部区域的光流或均值漂移跟踪方法，实现在后续帧中的唇部跟踪。
• 利用唇部形状变化的时空建模，对跟踪到的唇部区域进行归一化并映射到语音特征。
• 新提出的方案整合多尺度特征提取和自适应阈值处理，以提升在光照不良和遮挡情况下的检测精度。
• 通过训练好的视觉-音位词典，将跟踪到的唇部形状映射到对应字母或音素。

实验结果

研究问题

• RQ1 在面部毛发、牙齿和舌头可见等真实世界条件下，不同唇部定位技术的表现如何？
• RQ2 面部不对称对视频序列中唇部检测与跟踪精度有何影响？
• RQ3 所提出的跟踪方法在存在头部运动的帧之间维持唇部区域一致性的效果如何？
• RQ4 所提系统在低信噪比或音频退化环境中，对提升自动语音识别性能的改善程度如何？
• RQ5 自适应预处理在提升不同视频输入下唇部定位鲁棒性方面发挥何种作用？

主要发现

• 所提方法在可见牙齿和面部毛发等挑战性条件下，表现出更强的唇部检测鲁棒性。
• 使用光流的时间跟踪在中等头部运动下能保持帧间唇部区域定位的一致性。
• 基于颜色的分割与边缘检测结合的方法，在初始唇部检测中相比单一方法具有更高的精度。
• 自适应阈值与多尺度特征的整合，显著提升了低照度环境下的检测精度。
• 该系统通过提供可靠的视觉语音线索，展现出在噪声环境中提升ASR性能的潜力。
• 所提流程成功将跟踪到的唇部形状映射为语音输出，支持下游视觉语音识别任务。