[论文解读] LipNet: End-to-End Sentence-level Lipreading

Yannis Assael, Brendan Shillingford+2 more|arXiv (Cornell University)|Nov 5, 2016

Speech and Audio Processing参考文献 49被引用 189

一句话总结

LipNet 是首个端到端模型，使用时空CNN、Bi-GRUs 和 CTC 损失将口部视频帧序列映射到句子级文本，在 GRID 上达到最先进的结果。

ABSTRACT

Lipreading is the task of decoding text from the movement of a speaker's mouth. Traditional approaches separated the problem into two stages: designing or learning visual features, and prediction. More recent deep lipreading approaches are end-to-end trainable (Wand et al., 2016; Chung & Zisserman, 2016a). However, existing work on models trained end-to-end perform only word classification, rather than sentence-level sequence prediction. Studies have shown that human lipreading performance increases for longer words (Easton & Basala, 1982), indicating the importance of features capturing temporal context in an ambiguous communication channel. Motivated by this observation, we present LipNet, a model that maps a variable-length sequence of video frames to text, making use of spatiotemporal convolutions, a recurrent network, and the connectionist temporal classification loss, trained entirely end-to-end. To the best of our knowledge, LipNet is the first end-to-end sentence-level lipreading model that simultaneously learns spatiotemporal visual features and a sequence model. On the GRID corpus, LipNet achieves 95.2% accuracy in sentence-level, overlapped speaker split task, outperforming experienced human lipreaders and the previous 86.4% word-level state-of-the-art accuracy (Gergen et al., 2016).

研究动机与目标

• 推动自动化唇读，使直接从视频预测句子级文本，而无需中间的单词级步骤。
• 开发一个端到端架构，使时空视觉特征学习与序列建模共同进行。
• 在公开的句子级唇读数据集（GRID）上展示效果，并与人类表现进行比较。
• 分析学习到的表示，了解模型在哪些区域关注以及视觉音素（visemes）如何混淆。

提出的方法

• 使用时空卷积神经网络（STCNNs）从视频帧中提取运动感知的视觉特征。
• 结合双向 GRUs（Bi-GRUs）聚合时序信息并建模序列输出。
• 在每个时间步应用带 softmax 的线性层以产生标记分布。
• 使用 Connectionist Temporal Classification (CTC) 损失端到端训练，以处理未对齐、可变长度的序列。
• 通过 CTC beam search 评估以生成近似最大似然预测。

实验结果

研究问题

• RQ1 一个端到端模型是否可以直接从视频预测句子级唇读序列，而无需对齐？
• RQ2 时空特征加上时序聚合是否比仅词级或仅空间的模型在句子级唇读上有改善？
• RQ3 模型在句子级唇读任务中对未见说话者的泛化能力如何？
• RQ4 显著性图和视觉音素分析揭示了 LipNet 学习表示的哪些方面？

主要发现

• LipNet 在 GRID 的 overlapped-speaker 分割下实现了 95.2% 的句子级准确率。
• LipNet 在未见说话者上的准确率为 88.6%，表明具有良好的泛化能力。
• LipNet 在 GRID 上显著超过听力受损基线（未见平均 WER 约 11.4%，重叠 4.8%）。
• STCNNs 与 Bi-GRUs 的组合优于 2D 卷积基线，显示时空特征学习的重要性。
• 启用 CTC 的端到端训练避免了显式对齐，并取得强劲的性能（NoLM 基线显示了语言模型的好处）。
• 显著性分析表明 LipNet 关注与音位相关的区域，且大多数错误发生在 viseme 组内。