[论文解读] Mutual Information Maximization for Effective Lip Reading

Xing Zhao, Shuang Yang+2 more|arXiv (Cornell University)|Mar 13, 2020

Speech and Audio Processing参考文献 27被引用 6

一句话总结

本文提出了一种互信息最大化框架，通过强制局部（LMIM）和全局（GMIM）特征表示与语音内容之间的互信息最大化，实现高效的唇读。通过增强细粒度帧级特征并选择性地关注关键帧，该方法在LRW数据集上实现了84.41%的新SOTA准确率，在LRW-1000上达到38.79%，展示了在复杂视觉语音条件下的改进鲁棒性与判别能力。

ABSTRACT

Lip reading has received an increasing research interest in recent years due to the rapid development of deep learning and its widespread potential applications. One key point to obtain good performance for the lip reading task depends heavily on how effective the representation can be to capture the lip movement information and meanwhile to resist the noises resulted from the change of pose, lighting conditions, speaker's appearance and so on. Towards this target, we propose to introduce the mutual information constraints on both the local feature's level and the global sequence's level to enhance the relations of the features with the speech content. On the one hand, we constraint the features generated at each time step to enable them carry a strong relation with the speech content by imposing the local mutual information maximization constraint (LMIM), leading to improvements over the model's ability to discover fine-grained lip movements and the fine-grained differences among words with similar pronunciation, such as ``spend'' and ``spending''. On the other hand, we introduce the mutual information maximization constraint on the global sequence's level (GMIM), to make the model be able to pay more attention to discriminate key frames related with the speech content, and less to various noises appeared in the speaking process. By combining these two advantages together, the proposed method is expected to be both discriminative and robust for effective lip reading. To verify this method, we evaluate on two large-scale benchmark. We perform a detailed analysis and comparison on several aspects, including the comparison of the LMIM and GMIM with the baseline, the visualization of the learned representation and so on. The results not only prove the effectiveness of the proposed method but also report new state-of-the-art performance on both the two benchmarks.

研究动机与目标

• 通过学习对姿态、光照和说话人差异具有不变性的鲁棒且判别性的视觉表征，提升唇读性能。
• 解决在不同说话条件下词边界不一致和唇部外观变化带来的挑战。
• 增强模型区分同音词和发音相似词之间细微差别的能力，例如 'spend' 和 'spending'。
• 使模型能够自动识别并聚焦于与目标词相关的关键帧，同时抑制无关帧的噪声。
• 在无需外部词边界标注的情况下，实现在大规模基准LRW和LRW-1000上的SOTA性能。

提出的方法

• 引入局部互信息最大化（LMIM），以最大化帧级特征与语音内容之间的互信息，提升对细粒度唇部运动的敏感性。
• 提出全局互信息最大化（GMIM），以最大化整个序列表征与语音内容之间的互信息，实现对关键帧的关注并抑制噪声。
• 通过可学习的注意力机制实现GMIM，为标注词边界内的帧分配更高的权重，为上下文帧分配更小的权重。
• 修改标准唇读架构，使前端特征提取器与后端分类器能够联合训练，同时施加LMIM和GMIM约束。
• 基于互信息估计的对比学习目标，用于在局部和全局两个层面优化表征。
• 采用基于PCA的可视化方法，分析并比较应用GLMIM前后表征的判别能力。

实验结果

研究问题

• RQ1 局部互信息最大化是否能提升模型捕捉细粒度唇部运动及区分同音词的能力？
• RQ2 全局互信息最大化是否能增强模型对关键帧的关注并抑制视频序列中的无关噪声？
• RQ3 结合LMIM与GMIM是否能在大规模唇读基准上带来显著的性能提升？
• RQ4 在不同说话条件下，该方法与SOTA方法相比，在准确率和鲁棒性方面表现如何？
• RQ5 所学习的注意力机制在无显式监督的情况下，与实际词边界对齐的程度如何？

主要发现

• 所提方法在LRW数据集上实现了84.41%的新SOTA准确率，较基线模型提升1.21%。
• 在更具挑战性的LRW-1000基准上，该方法达到38.79%的准确率，较基线提升0.44%，并创下新SOTA结果。
• 仅使用LMIM组件，LRW上的基线准确率即可从82.14%提升至83.33%，证明其在捕捉细微差异方面的有效性。
• GMIM组件显著增强了对关键帧的关注：可视化结果显示，应用GLMIM后类间方差提升了2.5倍，提升了类别可分性。
• 仅使用GMIM训练的模型能够自动为标注词边界内的帧分配更高的注意力权重，为相邻上下文帧分配较小权重，且无需任何外部边界监督。
• 消融实验表明，LMIM与GMIM均独立且协同贡献，其中GMIM在LRW上带来最大性能提升，在LRW-1000上则实现更稳定但适中的增益。