[论文解读] Lip-reading with Densely Connected Temporal Convolutional Networks

Pingchuan Ma, Yujiang Wang+3 more|arXiv (Cornell University)|Sep 29, 2020

Speech and Audio Processing参考文献 57被引用 6

一句话总结

本文提出一种用于孤立词唇读的密集连接时间卷积网络（DC-TCN），通过密集跳跃连接和挤压-激励注意力模块增强时间特征提取。该方法在LRW数据集上达到88.36%的准确率，在LRW-1000数据集上达到43.65%的准确率，显著超越先前方法，实现最先进性能。

ABSTRACT

In this work, we present the Densely Connected Temporal Convolutional Network (DC-TCN) for lip-reading of isolated words. Although Temporal Convolutional Networks (TCN) have recently demonstrated great potential in many vision tasks, its receptive fields are not dense enough to model the complex temporal dynamics in lip-reading scenarios. To address this problem, we introduce dense connections into the network to capture more robust temporal features. Moreover, our approach utilises the Squeeze-and-Excitation block, a light-weight attention mechanism, to further enhance the model's classification power. Without bells and whistles, our DC-TCN method has achieved 88.36% accuracy on the Lip Reading in the Wild (LRW) dataset and 43.65% on the LRW-1000 dataset, which has surpassed all the baseline methods and is the new state-of-the-art on both datasets.

研究动机与目标

• 解决标准时间卷积网络（TCNs）在唇读任务中时间感受野密度不足的问题。
• 通过增强时间维度上的特征传播，改善对孤立词唇读中细微复杂时间动态的建模能力。
• 通过轻量级注意力机制（挤压-激励）在全卷积架构中提升分类性能。
• 在不依赖复杂数据增强或辅助组件的前提下，实现LRW与LRW-1000基准的新最先进结果。

提出的方法

• 提出DC-TCN的两种变体：全连接（FD）与部分连接（PD），其中每个TC层将所有先前层的特征进行拼接，以实现密集的特征流动。
• 在每个TC块之后集成挤压-激励（SE）模块，基于全局上下文自适应地重新校准通道维度的特征响应。
• 在TC块中使用空洞卷积，以扩展感受野的同时保持时间分辨率。
• 采用3D卷积神经网络（3D-CNN）结合ResNet18作为前端，从视频片段中提取视觉特征。
• 在后端使用多层TCN结构，结合空洞卷积与残差连接，以建模长程时间依赖性。
• 采用交叉熵损失进行端到端训练，并在标准基准数据集上使用标准数据划分进行评估。

实验结果

研究问题

• RQ1 TCN架构中的密集连接是否能提升孤立词唇读的时间特征表示能力？
• RQ2 集成挤压-激励模块是否能增强基于TCN的唇读模型的判别能力？
• RQ3 所提出的DC-TCN与现有最先进方法相比，在标准唇读基准上的表现如何？
• RQ4 该模型在可变长度输入序列下能保持多大程度的鲁棒性？
• RQ5 该模型在困难与非常困难的词类别上是否表现出更优性能？

主要发现

• 采用部分连接（PD）架构的DC-TCN在LRW数据集上达到88.36%的top-1准确率，较之前最先进方法（85.3%）提升3.06个百分点。
• 在LRW-1000数据集上，PD变体达到43.65%的准确率，超越之前最先进方法（41.4%）2.25个百分点。
• 模型在“困难”与“非常困难”词类别上表现出显著改进，表明对复杂语言模式具有更强鲁棒性。
• 在帧移除增强（N=0至N=5）下，DC-TCN模型保持优越性能，较基线模型（如End-to-End AVR）展现出更强的时间鲁棒性。
• 全连接（FD）变体在LRW上达到88.01%准确率，在LRW-1000上达到43.11%，证实两种变体均具有一致性能。
• 消融实验表明，密集连接与SE模块均对性能提升有贡献，二者结合效果最佳。