[论文解读] Hearing Lips: Improving Lip Reading by Distilling Speech Recognizers

Ya Zhao, Rui Xu+4 more|arXiv (Cornell University)|Nov 26, 2019

Speech and Audio Processing参考文献 14被引用 11

一句话总结

本文提出 Lip by Speech (LIBS)，一种新颖的知识蒸馏框架，通过将预训练语音识别器中的多粒度知识迁移至唇读模型，从而提升唇读性能。通过对齐音视频序列并应用过滤策略以优化语音预测，LIBS 在 CMLR 上将字符错误率降低 7.66%，在 LRS2 上降低 2.75%，达到当前最优性能。

ABSTRACT

Lip reading has witnessed unparalleled development in recent years thanks to deep learning and the availability of large-scale datasets. Despite the encouraging results achieved, the performance of lip reading, unfortunately, remains inferior to the one of its counterpart speech recognition, due to the ambiguous nature of its actuations that makes it challenging to extract discriminant features from the lip movement videos. In this paper, we propose a new method, termed as Lip by Speech (LIBS), of which the goal is to strengthen lip reading by learning from speech recognizers. The rationale behind our approach is that the features extracted from speech recognizers may provide complementary and discriminant clues, which are formidable to be obtained from the subtle movements of the lips, and consequently facilitate the training of lip readers. This is achieved, specifically, by distilling multi-granularity knowledge from speech recognizers to lip readers. To conduct this cross-modal knowledge distillation, we utilize an efficacious alignment scheme to handle the inconsistent lengths of the audios and videos, as well as an innovative filtering strategy to refine the speech recognizer's prediction. The proposed method achieves the new state-of-the-art performance on the CMLR and LRS2 datasets, outperforming the baseline by a margin of 7.66% and 2.75% in character error rate, respectively.

研究动机与目标

• 解决尽管深度学习技术不断进步，唇读与语音识别之间的性能差距依然显著的问题。
• 克服视觉-only 唇读中模糊的唇部运动带来的判别性特征提取困难。
• 利用预训练语音识别器中的互补信息，指导并改进唇读模型的训练过程。
• 构建一种可处理模态错位与不完美语音预测的跨模态知识蒸馏框架。
• 在大规模唇读基准测试中实现当前最优性能，尤其在低数据设置下表现优异。

提出的方法

• 通过从语音识别器向唇读模型迁移知识，实施多粒度知识蒸馏（序列级、上下文级和帧级）。
• 实施跨模态对齐策略，同步采样率不同的音视频序列，实现细粒度的特征匹配。
• 引入过滤策略以优化语音识别器的预测结果，在蒸馏前去除噪声或不可靠的特征。
• 为语音识别和唇读模型均采用序列到序列架构并结合注意力机制，支持端到端训练与蒸馏。
• 结合真实转录文本与来自语音特征的蒸馏知识联合训练唇读模型，同时优化 CTC 损失与蒸馏损失。
• 采用注意力可视化与显著性图分析，以检验并验证模型对判别性视觉特征的关注程度。

实验结果

研究问题

• RQ1 从预训练语音识别器中进行知识蒸馏是否能提升唇读模型的性能？
• RQ2 多粒度知识蒸馏（序列级、上下文级、帧级）如何增强唇读中的特征学习？
• RQ3 音视频序列之间的跨模态对齐在多大程度上提升了蒸馏的有效性？
• RQ4 对语音识别器预测结果进行过滤是否能带来更可靠、更有效的知识迁移？
• RQ5 与基线模型相比，该方法在低数据训练条件下的表现如何？

主要发现

• 在 CMLR 数据集上，LIBS 实现了 31.27% 的新 SOTA 字符错误率（CER），相比基线相对降低 7.66%。
• 在 LRS2 数据集上，LIBS 将 CER 降低至 45.53%，相比基线提升 2.75%，表明在多个基准上均具有一致的性能增益。
• 当训练数据减少至 20% 时，LIBS 在 CMLR 上相比基线的性能提升增至 9.63%，表明在数据稀缺条件下具备出色的泛化能力。
• 模型在注意力对齐与显著性图方面均有显著改善，LIBS 相较于基线更精确地聚焦于唇部区域。
• 消融实验证实，序列级、上下文级与帧级知识蒸馏逐级贡献，推动了更好的对齐效果与特征判别能力。
• 尽管采用 RNN 架构，LIBS 在 LRS2 上的 CER 表现仍优于基于 Transformer 的模型（如 TM-seq2seq），凸显了蒸馏策略的有效性。