[论文解读] Learning from Videos with Deep Convolutional LSTM Networks

Logan Courtney, R.S. Sreenivas|arXiv (Cornell University)|Apr 9, 2019

Human Pose and Action Recognition参考文献 86被引用 4

一句话总结

本文提出一种深度卷积LSTM网络，通过在LSTM单元内使用2D卷积，联合学习视频数据中的空间与时间特征，从而在多个尺度上捕捉时空模式。该模型在LRS2数据集上预训练后，在LRW唇读数据集上达到85.2%的准确率，实现SOTA性能，证明其能够自动识别相关时空尺度，而无需架构先验设计。

ABSTRACT

This paper explores the use of convolution LSTMs to simultaneously learn spatial- and temporal-information in videos. A deep network of convolutional LSTMs allows the model to access the entire range of temporal information at all spatial scales of the data. We describe our experiments involving convolution LSTMs for lipreading that demonstrate the model is capable of selectively choosing which spatiotemporal scales are most relevant for a particular dataset. The proposed deep architecture also holds promise in other applications where spatiotemporal features play a vital role without having to specifically cater the design of the network for the particular spatiotemporal features existent within the problem. For the Lip Reading in the Wild (LRW) dataset, our model slightly outperforms the previous state of the art (83.4% vs. 83.0%) and sets the new state of the art at 85.2% when the model is pretrained on the Lip Reading Sentences (LRS2) dataset.

研究动机与目标

• 开发一种能够联合建模视频序列中空间与时间特征的深度神经网络架构。
• 探究卷积LSTM是否能在无需针对特定任务预设架构偏置的情况下，自动学习相关时空尺度。
• 通过统一的时空学习框架，利用短期动态与长期上下文，提升唇读性能。
• 为视频理解任务（如唇读）中哪些时空尺度最为关键提供洞见。

提出的方法

• 该模型采用深度堆叠的卷积LSTM层，其中2D卷积集成于LSTM单元内部，以在每个时间步处理空间特征。
• 该架构结合2D卷积与卷积LSTM，使网络能够跨多个空间尺度学习分层的时空表征。
• 通过在不同时间间隔（T = 1, 3, 5, 10, 15帧）周期性重置卷积LSTM层的内部状态，进行敏感性分析，以评估各空间分辨率下时间上下文的重要性。
• 网络在视频序列上端到端训练，特征图在多个尺度（s/2, s/4, s/8, s/16）上处理，其中s表示原始空间尺寸。
• 采用残差连接设计以稳定训练并提升性能，类似于2D与3D卷积中的ResNet结构。
• 该模型在LRW数据集上进行微调与评估，并通过状态重置间隔的消融实验，评估时间依赖性的重要性。

实验结果

研究问题

• RQ1 主要由卷积LSTM构建的深度架构是否能在视频理解任务（如唇读）中超越现有模型？
• RQ2 哪些时空尺度（空间分辨率与时间上下文长度）对准确唇读最为关键？
• RQ3 使用卷积LSTM是否能实现无需先验架构设计的相关时空特征的自动发现？
• RQ4 卷积LSTM模型的性能与结合3D卷积与双向LSTM的混合架构相比如何？
• RQ5 卷积LSTM中隐藏状态到隐藏状态的连接在不同空间尺度上对性能的贡献程度如何？

主要发现

• 当在LRS2数据集上预训练后，该模型在LRW数据集上达到85.2%的新SOTA准确率，超过此前SOTA的83.0%。
• 在未使用预训练的情况下，该模型在原始LRW数据集上仍略微优于此前SOTA（83.4%），表现出强大的泛化能力。
• 当去除时间上下文时，s/16尺度的性能显著下降，表明在最粗糙的空间层级中，长期时间依赖性至关重要。
• s/8尺度仅在时间上下文保持约10帧时表现出色，表明其捕捉中等时间序列的能力。
• s/2尺度对每帧重置状态最为敏感，证实高空间分辨率下的精细、短期动态对唇读至关重要。
• s/4尺度在不同状态重置频率下均保持高性能，表明该尺度的隐藏状态到隐藏状态连接对性能的贡献有限，其信息已主要由卷积操作捕获。