[论文解读] Deep Learning for Lip Reading using Audio-Visual Information for Urdu Language

Faisal Muhammad, Sanaullah Manzoor|arXiv (Cornell University)|Feb 15, 2018

Speech and Audio Processing参考文献 9被引用 15

一句话总结

本文提出了一种用于乌尔都语唇读的多模态深度学习框架，通过时空卷积神经网络（ST-CNN）和双向门控循环神经网络（Bi-GRU）融合音频与视觉模态，并采用连接时序分类（CTC）损失进行训练。该研究构建了一个自定义的音视频数据集，并通过联合音视频建模在噪声环境中实现了更高的语音识别准确率，优于单模态基线模型。

ABSTRACT

Human lip-reading is a challenging task. It requires not only knowledge of underlying language but also visual clues to predict spoken words. Experts need certain level of experience and understanding of visual expressions learning to decode spoken words. Now-a-days, with the help of deep learning it is possible to translate lip sequences into meaningful words. The speech recognition in the noisy environments can be increased with the visual information [1]. To demonstrate this, in this project, we have tried to train two different deep-learning models for lip-reading: first one for video sequences using spatiotemporal convolution neural network, Bi-gated recurrent neural network and Connectionist Temporal Classification Loss, and second for audio that inputs the MFCC features to a layer of LSTM cells and output the sequence. We have also collected a small audio-visual dataset to train and test our model. Our target is to integrate our both models to improve the speech recognition in the noisy environment

研究动机与目标

• 为解决在噪声环境中语音识别准确率低下的挑战，利用视觉唇部运动进行建模。
• 开发一种融合音频与视觉信息的多模态深度学习系统，以提升乌尔都语语音识别性能。
• 收集并发布一个用于乌尔都语唇读的新型音视频数据集，以支持低资源语言的研究。
• 比较单模态（仅音频和仅视频）与多模态（音视频联合）模型在序列转导任务中的性能表现。
• 评估时空卷积网络与门控循环网络在建模唇部运动时间动态特性方面的有效性。

提出的方法

• 使用时空卷积神经网络（ST-CNN）从唇部运动视频序列中提取空间与时间特征。
• 使用双向门控循环神经网络（Bi-GRU）处理提取的特征，以建模序列中唇部运动的长程依赖关系。
• 应用连接时序分类（CTC）损失，实现端到端训练，无需强制对齐输入与输出序列。
• 对于音频模态，将MFCC特征输入LSTM单元堆叠结构，以建模时间上的声学模式。
• 音频与视频模型分别训练后进行融合，以提升在噪声条件下的鲁棒性。
• 收集了一个自定义的乌尔都语语音音视频数据集，并用于训练与评估。

实验结果

研究问题

• RQ1 音视频融合是否能提升乌尔都语在噪声环境中的语音识别性能？
• RQ2 单模态音频模型与视频模型在准确率与鲁棒性方面有何差异？
• RQ3 时空卷积神经网络与Bi-GRU的融合在多大程度上提升了唇读的序列建模能力？
• RQ4 使用CTC损失是否能够实现无需强制对齐的端到端唇读模型训练？
• RQ5 所提出的多模态系统在乌尔都语这类低资源语言上的有效性如何？

主要发现

• 多模态音视频融合模型在语音识别准确率上优于单模态的仅音频与仅视频模型。
• 使用CTC损失实现了无需显式帧级对齐的端到端唇读模型训练。
• 时空卷积神经网络有效捕捉了视频序列中唇部运动的空间与时间模式。
• 双向门控RNN架构通过捕捉视觉序列中的长程依赖关系，提升了序列建模能力。
• 自定义音视频数据集为低资源乌尔都语唇读研究提供了宝贵的基准。
• 音频与视觉模态的融合显著增强了在噪声环境下的鲁棒性，证明了多模态学习的优势。