[论文解读] Deformation Flow Based Two-Stream Network for Lip Reading

Jingyun Xiao, Shuang Yang+3 more|arXiv (Cornell University)|Mar 12, 2020

Speech and Audio Processing参考文献 16被引用 4

一句话总结

该论文提出了一种基于形变流的双流网络（DFTN）用于唇读，通过在相邻视频帧之间自监督地估计形变流，捕捉唇部区域的运动动态。通过在双流架构中融合原始视频与形变流特征，并采用双向知识蒸馏，该方法在LRW（84.13%）和LRW-1000（41.93%）基准上实现了最先进性能，证明了互补的运动与外观线索的有效性。

ABSTRACT

Lip reading is the task of recognizing the speech content by analyzing movements in the lip region when people are speaking. Observing on the continuity in adjacent frames in the speaking process, and the consistency of the motion patterns among different speakers when they pronounce the same phoneme, we model the lip movements in the speaking process as a sequence of apparent deformations in the lip region. Specifically, we introduce a Deformation Flow Network (DFN) to learn the deformation flow between adjacent frames, which directly captures the motion information within the lip region. The learned deformation flow is then combined with the original grayscale frames with a two-stream network to perform lip reading. Different from previous two-stream networks, we make the two streams learn from each other in the learning process by introducing a bidirectional knowledge distillation loss to train the two branches jointly. Owing to the complementary cues provided by different branches, the two-stream network shows a substantial improvement over using either single branch. A thorough experimental evaluation on two large-scale lip reading benchmarks is presented with detailed analysis. The results accord with our motivation, and show that our method achieves state-of-the-art or comparable performance on these two challenging datasets.

研究动机与目标

• 通过利用相邻帧之间的形变流，建模唇部区域的细粒度时序运动动态，以提升唇读性能。
• 通过引入一种运动感知模态，解决现有方法对视频帧中时空相关性利用不足的问题。
• 通过双流分支之间的双向知识蒸馏，促进知识交换，增强特征学习。
• 通过融合原始视频与形变流的互补线索，在词级别唇读基准上实现更优性能。

提出的方法

• 训练一个自监督形变流网络（DFN），用于估计连续视频帧之间的像素级形变场，将运动表示为唇部区域的表观形变。
• 将形变流和原始灰度视频帧分别输入双流卷积神经网络的两个分支，进行特征提取。
• 在训练过程中应用双向知识蒸馏，使每个分支从另一分支的软概率预测中蒸馏知识，以提升泛化能力和特征学习。
• 在推理阶段，通过元素级相乘融合两个分支的概率分布，以提高分类准确率。
• 该方法采用基于ResNet的主干网络，并结合交叉熵损失、中间特征融合与知识蒸馏，实现联合优化。
• 形变流通过一个无需任何人工标注运动标签的流估计模块计算，仅依赖视频一致性进行训练。

实验结果

研究问题

• RQ1 相邻帧之间的形变流能否有效建模唇部运动动态，从而提升唇读性能？
• RQ2 通过双流网络融合原始视频与形变流特征，是否能优于单流基线方法？
• RQ3 双流分支之间的双向知识蒸馏能否进一步提升模型准确率与泛化能力？
• RQ4 所提方法在大规模基准上的表现与最先进唇读模型相比如何？

主要发现

• 所提出的DFTN在LRW基准上实现了84.13%的词级别识别准确率，超越了之前的最先进方法（84.07%）。
• 在更具挑战性的LRW-1000数据集上，DFTN达到了41.93%的准确率，显著优于先前方法，如Yang19（38.19%）和Wang19（36.91%）。
• 双向知识蒸馏损失有效提升了两个独立分支及最终融合预测的性能，证明了有效的跨分支知识迁移。
• 通过元素相乘融合两个分支的概率输出，准确率高于加法融合或中间特征融合，表明两者的特征具有互补性。
• 自监督DFN在无任何标注运动数据的情况下生成了有意义的形变流，证明其在唇读运动建模中的有效性。
• 消融实验确认，形变流与原始视频的结合，以及双向知识蒸馏，是性能提升的关键因素。