[论文解读] LCANet: End-to-End Lipreading with Cascaded Attention-CTC

Kai Xu, Dawei Li+2 more|arXiv (Cornell University)|Mar 13, 2018

Speech and Audio Processing被引用 6

一句话总结

LCANet 提出了一种端到端的读唇模型，采用级联注意力-CTC 解码器以克服标准 CTC 在输出符号条件独立性方面的局限性，结合 3D-CNN、高速公路网络和双向 GRU 进行时空特征提取。该模型在 GRID 数据集上实现了 1.3% 的 CER 和 2.9% 的 WER，相较于先前的最先进方法相对提升了 12.3%。

ABSTRACT

Machine lipreading is a special type of automatic speech recognition (ASR) which transcribes human speech by visually interpreting the movement of related face regions including lips, face, and tongue. Recently, deep neural network based lipreading methods show great potential and have exceeded the accuracy of experienced human lipreaders in some benchmark datasets. However, lipreading is still far from being solved, and existing methods tend to have high error rates on the wild data. In this paper, we propose LCANet, an end-to-end deep neural network based lipreading system. LCANet encodes input video frames using a stacked 3D convolutional neural network (CNN), highway network and bidirectional GRU network. The encoder effectively captures both short-term and long-term spatio-temporal information. More importantly, LCANet incorporates a cascaded attention-CTC decoder to generate output texts. By cascading CTC with attention, it partially eliminates the defect of the conditional independence assumption of CTC within the hidden neural layers, and this yields notably performance improvement as well as faster convergence. The experimental results show the proposed system achieves a 1.3% CER and 3.0% WER on the GRID corpus database, leading to a 12.3% improvement compared to the state-of-the-art methods.

研究动机与目标

• 为解决标准 CTC 在读唇任务中的局限性，特别是其对输出符号之间条件独立性的假设。
• 通过整合长程上下文建模，提升在具有挑战性的现实世界读唇数据上的性能。
• 通过混合注意力-CTC 解码机制，加速训练收敛。
• 展示级联注意力-CTC 在建模人类和标准模型难以区分的音素级别差异方面的有效性。
• 提供一种鲁棒的、端到端的纯视觉读唇系统，在基准数据集上表现优于人类读唇者。

提出的方法

• 编码器使用堆叠的 3D 卷积神经网络（3D-CNN）从视频帧中提取时空特征。
• 在 3D-CNN 之上堆叠高速公路网络层，以支持更深网络的训练并改善梯度流动。
• 应用双向 GRU 以捕捉时间维度上前后两个方向的长期依赖关系。
• 级联注意力-CTC 解码器利用注意力机制关注相关的编码器状态，减轻 CTC 的局部关注问题，降低对条件独立性的依赖。
• 解码器通过单一 CTC 损失进行训练，以引导单调对齐，同时注意力机制增强上下文建模能力。
• 模型仅使用对齐的人脸裁剪图像作为视觉输入，通过端到端方式训练，不依赖音频信息。

实验结果

研究问题

• RQ1 级联注意力-CTC 解码器是否能通过降低 CTC 条件独立性假设的影响，提升端到端读唇任务的性能？
• RQ2 高速公路网络与双向 GRU 的集成如何影响读唇模型的特征表示？
• RQ3 与标准 CTC 或仅注意力模型相比，所提出的架构是否实现更快的收敛速度？
• RQ4 该模型在多大程度上减少了视觉上相似音素（如 /p/ 和 /b/）之间的混淆？
• RQ5 通过注意力机制利用长程时间上下文，该模型是否能在真实场景数据上实现更好的泛化能力？

主要发现

• LCANet 在 GRID 语料库上实现了 1.3% 的字符错误率（CER）和 2.9% 的词错误率（WER），相较于先前最先进方法相对提升了 12.3%。
• 与 LipNet 相比，该模型收敛速度显著更快，在训练集和验证集上分别于第 14 和 20 个周期达到损失值 4，而 LipNet 需要 38 和 40 个周期。
• 与不使用高速公路网络的基线相比，引入高速公路网络使 CER 降低 0.4%，WER 降低 1.1%。
• 移除注意力机制后性能出现显著下降，证实其在建模长程依赖关系中的关键作用。
• 级联注意力-CTC 模型优于纯 CTC 和纯注意力模型，证明了两种机制结合的优势。
• 混淆矩阵显示，该模型有效减少了相似音素之间的误分类，仅在音素类别 V 和 D 之间存在轻微不确定性，表明其对细微唇部动作具有强大的区分能力。