[论文解读] Spatio-temporal video autoencoder with differentiable memory

Viorica Pătrăucean, Ankur Handa+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Vision and Imaging参考文献 31被引用 235

一句话总结

该论文提出了一种基于卷积LSTM单元的可微分视觉短期记忆的时空视频自编码器，以无监督方式学习运动表征。通过将光流预测器和图像采样器作为反馈回路集成，该模型端到端地重建未来帧，在极少监督下实现了弱监督视频语义分割的最先进性能。

ABSTRACT

We describe a new spatio-temporal video autoencoder, based on a classic spatial image autoencoder and a novel nested temporal autoencoder. The temporal encoder is represented by a differentiable visual memory composed of convolutional long short-term memory (LSTM) cells that integrate changes over time. Here we target motion changes and use as temporal decoder a robust optical flow prediction module together with an image sampler serving as built-in feedback loop. The architecture is end-to-end differentiable. At each time step, the system receives as input a video frame, predicts the optical flow based on the current observation and the LSTM memory state as a dense transformation map, and applies it to the current frame to generate the next frame. By minimising the reconstruction error between the predicted next frame and the corresponding ground truth next frame, we train the whole system to extract features useful for motion estimation without any supervision effort. We present one direct application of the proposed framework in weakly-supervised semantic segmentation of videos through label propagation using optical flow.

研究动机与目标

• 通过实现无监督运动表征学习，解决深度视频模型训练中缺乏标注视频数据的问题。
• 克服标准卷积网络在利用视频序列时间冗余性方面的局限性。
• 基于卷积LSTM设计一种生物启发的视觉短期记忆模块，以建模动态视觉变化。
• 实现无需监督的视频自编码器端到端训练，联合学习运动估计与重建。
• 通过标签传播展示所学习运动特征在弱监督语义分割中的实用性。

提出的方法

• 提出一种时空视频自编码器架构，将标准卷积图像自编码器与基于卷积LSTM单元的嵌套时间自编码器结合，作为可微分视觉短期记忆模块。
• 利用卷积LSTM通过整合随时间变化的视觉信息来编码时间上下文，以可微分方式建模运动动态。
• 基于稳健的光流预测模块和图像采样器构建时间解码器，通过将预测光流应用于当前帧来生成下一帧。
• 引入内置反馈回路，将预测的下一帧与真实帧进行比较，实现通过时间的端到端反向传播。
• 通过最小化预测帧与真实帧之间的重建损失来训练整个系统，从而实现无监督的运动特征学习。
• 通过利用光流作为几何先验，将架构适配于弱监督语义分割，实现标签在光流上的传播。

实验结果

研究问题

• RQ1 基于卷积LSTM的可微分视觉短期记忆模块是否能提升视频中无监督运动表征学习的性能？
• RQ2 带有预测帧与真实帧反馈回路的端到端训练方案在学习运动特征方面有多高效？
• RQ3 所学习的运动特征在多大程度上能提升视频的弱监督语义分割性能？
• RQ4 将光流估计与帧预测相结合，是否能相比标准模型提升分割质量？
• RQ5 在性能和参数效率方面，该架构与标准自编码器及全连接LSTM模型相比如何？

主要发现

• 所提出的基于卷积LSTM记忆的时空自编码器在使用更少参数的情况下，优于标准自编码器和全连接LSTM基线模型，在运动表征学习方面表现更优。
• 在仅使用帧级标签的情况下，该模型在Camvid数据集上实现了76.9%的全局平均分割准确率，显著优于基线模型SegNet的75.3%。
• SegNet-flow模型通过引入光流约束，在平滑分割结果方面表现出显著改进，尤其在大对象类别上效果明显。
• 尽管性能有所提升，但小而细长的结构性能仍有所下降，主要归因于训练集规模有限以及光流估计的下采样。
• 反馈回路实现了高效的端到端训练，便于对记忆模块设计和分辨率进行灵活实验。
• 该架构在建模视觉错觉和模糊运动知觉方面展现出潜力，表明其记忆动态具有生物合理性。