[论文解读] Video Ladder Networks

Francesco Cricri, Xingyang Ni+3 more|arXiv (Cornell University)|Dec 6, 2016

Human Pose and Action Recognition参考文献 6被引用 17

一句话总结

本文提出视频梯度网络（VLN），一种轻量级、全卷积的编码器-解码器架构，其核心为侧向循环残差块，通过卷积LSTM集成前馈跳跃连接与循环连接。该模型在Moving MNIST数据集上实现了具有竞争力的视频预测性能，且推理速度极快，尽管参数量更少、结构更简单，仍优于大多数基线模型。

ABSTRACT

We present the Video Ladder Network (VLN) for efficiently generating future video frames. VLN is a neural encoder-decoder model augmented at all layers by both recurrent and feedforward lateral connections. At each layer, these connections form a lateral recurrent residual block, where the feedforward connection represents a skip connection and the recurrent connection represents the residual. Thanks to the recurrent connections, the decoder can exploit temporal summaries generated from all layers of the encoder. This way, the top layer is relieved from the pressure of modeling lower-level spatial and temporal details. Furthermore, we extend the basic version of VLN to incorporate ResNet-style residual blocks in the encoder and decoder, which help improving the prediction results. VLN is trained in self-supervised regime on the Moving MNIST dataset, achieving competitive results while having very simple structure and providing fast inference.

研究动机与目标

• 开发一种轻量级、高效的视频预测模型，以利用分层的时间与空间表征。
• 通过侧向连接使解码器能够访问编码器的多层特征，从而减轻高层层的负担。
• 通过在残差块框架中整合循环侧向连接与前馈跳跃连接，提升预测准确率与推理速度。
• 在标准基准（Moving MNIST）上评估模型性能，并与先前的最先进方法进行比较。
• 探究残差块（ResNet风格）在VLN框架内对视频预测性能的影响。

提出的方法

• 模型采用全卷积的编码器-解码器架构，编码器使用空洞卷积，解码器使用标准卷积。
• 在每一层，侧向连接构成一个循环残差块：包含前馈跳跃连接与通过卷积LSTM实现的循环连接，用于时间建模。
• 卷积LSTM在时间维度上处理特征图，保持空间结构，并使解码器能够访问所有编码器层的时间汇总信息。
• 架构中引入批量归一化与Leaky ReLU激活函数，最终层使用Sigmoid输出。
• 扩展版本VLN-ResNet在编码器与解码器中均集成ResNet风格残差块，以提升特征学习能力。
• 训练采用窗口化策略，使用RMSprop优化器、二元交叉熵损失函数，并通过反馈预测结果以维持时间连贯性。

实验结果

研究问题

• RQ1 侧向循环残差块是否能通过在轻量级架构中实现多层特征访问，从而提升视频预测性能？
• RQ2 通过卷积LSTM实现的循环侧向连接与纯前馈跳跃连接相比，在视频预测中表现如何？
• RQ3 在视频梯度网络中引入ResNet风格残差块能在多大程度上提升性能？
• RQ4 在视频预测任务中，是否一个简单、浅层的架构结合侧向循环连接，也能实现与更深层、更复杂模型相媲美甚至更优的结果？
• RQ5 与当前最先进视频预测模型相比，该模型的推理速度与参数效率如何？

主要发现

• VLN在Moving MNIST数据集上测试损失为207.0，优于大多数先前模型，仅略逊于参数量更大、更深的VPN-BL模型。
• VLN-ResNet测试损失为187.7，表明残差块可进一步提升性能，且仅略微增加参数量。
• VLN-BL基线（无前馈连接）损失为222.3，表明循环侧向连接是性能提升的主要驱动力。
• 增加前馈侧向连接（VLN-BL-FF）仅带来微小性能提升（损失220.1），表明循环连接更为关键。
• 尽管训练期间仅对5个预测结果取平均（相较之前工作为10个），模型仍取得优异结果，表明其对训练策略限制具有鲁棒性。
• 模型仅需10次迭代即可完成快速推理，显著快于逐像素预测模型（如原始VPN），后者每帧需N×N×3次迭代。