[论文解读] 3D Feature Pyramid Attention Module for Robust Visual Speech Recognition

Jingyun Xiao|arXiv (Cornell University)|Oct 15, 2018

Speech and Audio Processing参考文献 20被引用 4

一句话总结

本文提出了一种三维特征金字塔注意力（3D-FPA）模块，通过可学习的注意力机制在空间和时间维度上融合多尺度特征，从而增强视觉语音识别中的时空特征表示。该模块在LipNet上将词错误率降低了3.6%，在词级模型上将准确率提高了1.4%，展现出对发音相似和持续时间短的词汇的鲁棒性。

ABSTRACT

Visual speech recognition is the task to decode the speech content from a video based on visual information, especially the movements of lips. It is also referenced as lipreading. Motivated by two problems existing in lipreading, words with similar pronunciation and the variation of word duration, we propose a novel 3D Feature Pyramid Attention (3D-FPA) module to jointly improve the representation power of features in both the spatial and temporal domains. Specifically, the input features are downsampled for 3 times in both the spatial and temporal dimensions to construct spatiotemporal feature pyramids. Then high-level features are upsampled and combined with low-level features, finally generating a pixel-level soft attention mask to be multiplied with the input features.It enhances the discriminative power of features and exploits the temporal multi-scale information while decoding the visual speeches. Also, this module provides a new method to construct and utilize temporal pyramid structures in video analysis tasks. The field of temporal featrue pyramids are still under exploring compared to the plentiful works on spatial feature pyramids for image analysis tasks. To validate the effectiveness and adaptability of our proposed module, we embed the module in a sentence-level lipreading model, LipNet, with the result of 3.6% absolute decrease in word error rate, and a word-level model, with the result of 1.4% absolute improvement in accuracy.

研究动机与目标

• 解决在视觉语音识别中区分发音相似词汇的挑战。
• 提升缺乏足够时间上下文的短时长词汇的识别能力。
• 通过利用多尺度的空间与时间信息，增强判别性特征表示。
• 开发一种可泛化的通用方法，用于构建视频分析任务中的时间金字塔结构。
• 在不同唇读架构和数据集上验证3D-FPA模块的有效性。

提出的方法

• 通过在空间和时间维度上均以3倍下采样因子构建三维特征金字塔。
• 利用高层特征通过特征融合与通道注意力生成像素级软注意力掩码。
• 上采样注意力掩码，并将其与低层特征结合以优化特征表示。
• 在ResNet模块之前和内部集成3D-FPA模块，以指导跨尺度的特征学习。
• 通过将二维FPA机制扩展至时间维度，将其从语义分割任务适配至三维视频任务。
• 使用标准优化方法（SGD，初始学习率0.003，动量0.9）进行端到端训练，并在LRW语料库上应用批量归一化，不使用Dropout。

实验结果

研究问题

• RQ1 三维特征金字塔注意力机制是否能提升视觉语音识别的判别能力，特别是对发音相似的词汇？
• RQ2 所提出的3D-FPA模块在捕捉短时长词汇的多尺度时间上下文方面有多高效？
• RQ3 3D-FPA模块在不同唇读架构（如LipNet和CRNL）上的性能提升程度如何？
• RQ4 将时间金字塔结构与注意力机制结合是否能提升视频理解任务中的泛化能力？
• RQ5 在哪些类型的词汇上，3D-FPA模块带来的准确率增益最大？

主要发现

• 在GRID语料库上评估时，3D-FPA模块使句级LipNet模型的词错误率降低了3.6%。
• 在词级CRNL模型上，当使用四个模块时，准确率从77.8%提升至79.26%，绝对提升1.46%。
• 该模块在具有相似音素结尾的词汇上表现最佳，例如“Difference”与“Different”，准确率从72%提升至88%。
• 像“Million”和“Billion”这样的词汇准确率提升了12%（从64%增至76%），表明对初始音素差异的判别能力得到改善。
• 该模型在短词上也表现出一致的改进，如“Under”（从31%提升至38%）和“Could”（从48%提升至51%），这些词通常难以识别。
• 3D-FPA模块在区分初始帧或末尾帧中视觉差异细微的词汇方面尤为有效，例如“Taking”与“Taken”。