[论文解读] Deep RNN Framework for Visual Sequential Applications

Bo Pang, Kaiwen Zha+3 more|arXiv (Cornell University)|Nov 25, 2018

Human Pose and Action Recognition参考文献 53被引用 5

一句话总结

本文提出一种带有上下文桥模块（CBM）和重叠一致性训练方案的深度RNN框架，以实现对视觉序列任务中非常深的RNN的有效训练。CBM将时间流与表征流解耦，而训练方案通过重叠的短片段减少计算成本，使得15层网络在Kinetics、UCF-101和HMDB-51上的视频分类任务中实现了超过11%的相对准确率提升。

ABSTRACT

Extracting temporal and representation features efficiently plays a pivotal role in understanding visual sequence information. To deal with this, we propose a new recurrent neural framework that can be stacked deep effectively. There are mainly two novel designs in our deep RNN framework: one is a new RNN module called Context Bridge Module (CBM) which splits the information flowing along the sequence (temporal direction) and along depth (spatial representation direction), making it easier to train when building deep by balancing these two directions; the other is the Overlap Coherence Training Scheme that reduces the training complexity for long visual sequential tasks on account of the limitation of computing resources. We provide empirical evidence to show that our deep RNN framework is easy to optimize and can gain accuracy from the increased depth on several visual sequence problems. On these tasks, we evaluate our deep RNN framework with 15 layers, 7* than conventional RNN networks, but it is still easy to train. Our deep framework achieves more than 11% relative improvements over shallow RNN models on Kinetics, UCF-101, and HMDB-51 for video classification. For auxiliary annotation, after replacing the shallow RNN part of Polygon-RNN with our 15-layer deep CBM, the performance improves by 14.7%. For video future prediction, our deep RNN improves the state-of-the-art shallow model's performance by 2.4% on PSNR and SSIM. The code and trained models are published accompanied by this paper: https://github.com/BoPang1996/Deep-RNN-Framework.

研究动机与目标

• 为解决由于时间流与表征流信息相互纠缠，导致训练非常深的RNN用于视觉序列任务的挑战。
• 降低在长视频序列上训练深度RNN所带来的高计算与内存开销。
• 使更深的网络架构能够提升视频分类、动作预测和视频预测任务的性能。
• 设计一种训练方案，在显著缩短序列长度的同时保持时间一致性。

提出的方法

• 提出上下文桥模块（CBM），在合并前将时间流与表征流分离为两个独立的计算单元。
• 采用时间丢弃（TD）机制，在训练初期抑制时间信息在层间的反向传播，从而减少两类流之间的干扰。
• 提出重叠一致性训练方案，将长序列拆分为重叠的短片段，以降低内存与计算开销。
• 使用重叠一致性损失，强制相邻片段之间的预测保持一致，从而在不依赖严格马尔可夫假设的前提下维持时间一致性。
• 采用逐元素乘积或加法方式合并两类流，消融实验表明乘积方式性能更优。
• 采用VGG19作为主干网络，并堆叠15层CBM构建深度RNN架构。

实验结果

研究问题

• RQ1 尽管存在梯度消失和计算成本问题，是否能够成功训练超过10层的深度RNN用于视觉序列建模？
• RQ2 在RNN中解耦时间流与表征流是否能提升深层网络的训练稳定性和性能？
• RQ3 基于重叠短片段的训练方案是否能降低计算复杂度，同时在长序列中保持时间一致性？
• RQ4 合并函数的选择（如逐元素乘积与加法）如何影响深度RNN的模型性能？
• RQ5 在训练过程中，平衡时间流与表征流的最优TD率是多少？

主要发现

• 采用15层CBM的深度RNN框架在Kinetics、UCF-101和HMDB-51上的准确率相比浅层RNN模型实现了超过11%的相对提升。
• 将Polygon-RNN中的浅层RNN替换为15层CBM后，Cityscapes数据集上的IoU提升了14.7%。
• 在视频未来预测任务中，该深度RNN相比先前最先进浅层模型，PSNR和SSIM分别提升了2.4%。
• 0.5的TD率表现最佳，而1.0的TD率导致性能显著下降，原因是层间时间流被完全隔离。
• 重叠一致性训练方案通过减少有效序列长度，使标准GPU上训练深度RNN成为可能，同时保持了时间一致性。
• 逐元素乘积的合并函数优于加法，表明不对称地融合两类流能增强视频分类任务的表征学习能力。