[论文解读] Lip-reading with Hierarchical Pyramidal Convolution and Self-Attention

Hang Chen, Jun Du+4 more|arXiv (Cornell University)|Dec 28, 2020

Speech and Audio Processing参考文献 25被引用 4

一句话总结

该论文提出了一种用于词级唇读的新型深度学习模型，用分层金字塔卷积（HPConv）替代标准卷积以实现多尺度空间特征提取，并用基于自注意力的时序融合替代平均池化共识。该模型在 LRW 数据集上取得了 86.83% 的准确率，相比之前最先进方法绝对提升了 1.53%，表明其在检测细微唇部动作和关注相关视频帧方面表现更优。

ABSTRACT

In this paper, we propose a novel deep learning architecture to improving word-level lip-reading. On the one hand, we first introduce the multi-scale processing into the spatial feature extraction for lip-reading. Specially, we proposed hierarchical pyramidal convolution (HPConv) to replace the standard convolution in original module, leading to improvements over the model's ability to discover fine-grained lip movements. On the other hand, we merge information in all time steps of the sequence by utilizing self-attention, to make the model pay more attention to the relevant frames. These two advantages are combined together to further enhance the model's classification power. Experiments on the Lip Reading in the Wild (LRW) dataset show that our proposed model has achieved 86.83% accuracy, yielding 1.53% absolute improvement over the current state-of-the-art. We also conducted extensive experiments to better understand the behavior of the proposed model.

研究动机与目标

• 通过增强对细微唇部动作的空间特征提取，提升词级唇读性能。
• 通过学习动态、基于注意力的帧加权，解决平均池化共识的局限性。
• 将多尺度处理整合到唇读模型的前端，以更好地表征音位变体。
• 通过在 LRW 基准上的消融实验与对比实验，验证分层金字塔卷积与自注意力共识的有效性。

提出的方法

• 提出分层金字塔卷积（HPConv），在多个空间分辨率下处理输入特征，以更好地捕捉局部与全局的唇部运动模式。
• 将 ResNet-18 中的标准 2D 卷积替换为 HPConv，以在保持层次化特征学习的同时提取多尺度空间特征。
• 引入基于自注意力的共识模块，根据视频帧与目标词的相关性动态加权时序帧。
• 采用可学习的注意力机制生成软性词边界，相比固定或均匀平均，实现更优的帧选择。
• 使用多尺度时间卷积网络（MS-TCN）作为后端，以建模长程时序依赖性。
• 将 HPConv 前端与自注意力共识结合，协同提升空间感知与时序相关性建模能力。

实验结果

研究问题

• RQ1 通过分层金字塔卷积实现的多尺度空间特征提取，能否提升词级唇读中对细微唇部动作的识别能力？
• RQ2 基于自注意力的时序共识是否在分类过程中比平均池化更有效地聚焦于相关视频帧？
• RQ3 HPConv 与自注意力共识在 LRW 数据集上单独及联合使用时，对性能的影响如何？
• RQ4 与人工标注相比，该模型通过注意力机制学习准确词边界的程度如何？

主要发现

• 所提模型在 LRW 数据集上达到 86.83% 的 top-1 准确率，相比之前最先进方法绝对提升 1.53%。
• HPConv 显著提升了少音位词的分类准确率，通过增强对细微唇部动作的检测能力。
• 基于自注意力的共识优于平均池化，尤其在词边界模糊时，能学习到更精确的帧相关性。
• 消融实验表明，HPConv 与自注意力共识均对性能提升有独立贡献，并存在协同增益。
• 模型学习到的注意力权重与人工词边界具有相关性，且准确率随编辑距离增加而下降，证实模型学习到了有意义的时序结构。