[论文解读] Learn an Effective Lip Reading Model without Pains

Dalu Feng, Shuang Yang+2 more|arXiv (Cornell University)|Nov 15, 2020

Speech and Audio Processing参考文献 30被引用 51

一句话总结

paper 对 Lip 读写的训练因素进行了全面的定量研究，并显示对基线管线的简单改进即可在 LRW 和 LRW-1000 上实现最先进的结果，而无需对模型进行实质性调整。

ABSTRACT

Lip reading, also known as visual speech recognition, aims to recognize the speech content from videos by analyzing the lip dynamics. There have been several appealing progress in recent years, benefiting much from the rapidly developed deep learning techniques and the recent large-scale lip-reading datasets. Most existing methods obtained high performance by constructing a complex neural network, together with several customized training strategies which were always given in a very brief description or even shown only in the source code. We find that making proper use of these strategies could always bring exciting improvements without changing much of the model. Considering the non-negligible effects of these strategies and the existing tough status to train an effective lip reading model, we perform a comprehensive quantitative study and comparative analysis, for the first time, to show the effects of several different choices for lip reading. By only introducing some easy-to-get refinements to the baseline pipeline, we obtain an obvious improvement of the performance from 83.7% to 88.4% and from 38.2% to 55.7% on two largest public available lip reading datasets, LRW and LRW-1000, respectively. They are comparable and even surpass the existing state-of-the-art results.

研究动机与目标

• 通过研究动机与量化数据，评估训练选择与数据处理对唇读性能的影响。
• 识别能够改进基线唇读管线的有效改进。
• 证明一个简单、精炼的训练管线在 LRW 与 LRW-1000 上也能达到竞争性结果，而不需要重大架构变更。

提出的方法

• 使用带有 ResNet-18 前端和 GRU 后端的基线唇读管线。
• 探索数据处理（面部对齐、单词边界输入）、训练调整（MixUp、标签平滑、学习率调度）。
• 在精炼管线中引入 SE（squeeze-and-excitation）模块和余弦学习率调度。
• 在 LRW（英语）与 LRW-1000（普通话）数据集上进行评估。
• 比较前端/后端模块并记录不同配置的影响。
• 以表格形式报告结果，以识别有效组合。

实验结果

研究问题

• RQ1 哪些训练策略和数据处理步骤在不改变模型架构的情况下最能提升唇读性能？
• RQ2 像 face alignment、word boundary inputs、MixUp、label smoothing 与 cosine LR 调度等改进是否在 LRW 与 LRW-1000 上稳定带来提升？
• RQ3 在结合这些训练技巧时，前端/后端的选择有多大相对影响？
• RQ4 在大型唇读数据集上，是否可以通过一个简单、精炼的管线达到甚至超越最先进的结果？

主要发现

• 在 LRW 上，基线准确率从 83.7% 提升到 88.4%（通过改进实现）。
• 在 LRW-1000 上，基线准确率从 46.5% 提升到 55.7%（通过改进实现）。
• 带对齐唇数据的 SE-ResNet-18 前端与 BiGRU 后端的结果具有竞争力；增加词边界后，LRW 提升至 88.4%，LRW-1000 提升至 55.7%。
• 面部对齐与词边界输入相较基线数据处理提供显著增益。
• 余弦学习率调度相比基于停滞的调度带来较小但正向的改进；MixUp 与标签平滑有助于提升泛化能力。
• 在同等条件下，GRU 基后端往往优于 Temporal ConvNET 与 Transformer 的后端。