[论文解读] Inception-inspired LSTM for Next-frame Video Prediction

Matin Hosseini, Anthony S. Maida+2 more|arXiv (Cornell University)|Aug 28, 2019

Video Surveillance and Tracking Methods参考文献 22被引用 15

一句话总结

本文提出一种受Inception启发的LSTM架构，通过在每个LSTM门中用多尺度卷积核操作替代标准卷积LSTM，提升下一帧视频预测的特征表示能力。在KITTI和KTH数据集上基于PredNet框架进行评估，Inception LSTM（版本1）在MSE和SSIM指标上均优于标准ConvLSTM；版本2通过用两个堆叠的3×3卷积替代单个5×5卷积，降低计算成本，性能略有下降。

ABSTRACT

The problem of video frame prediction has received much interest due to its relevance to many computer vision applications such as autonomous vehicles or robotics. Supervised methods for video frame prediction rely on labeled data, which may not always be available. In this paper, we provide a novel unsupervised deep-learning method called Inception-based LSTM for video frame prediction. The general idea of inception networks is to implement wider networks instead of deeper networks. This network design was shown to improve the performance of image classification. The proposed method is evaluated on both Inception-v1 and Inception-v2 structures. The proposed Inception LSTM methods are compared with convolutional LSTM when applied using PredNet predictive coding framework for both the KITTI and KTH data sets. We observed that the Inception based LSTM outperforms the convolutional LSTM. Also, Inception LSTM has better prediction performance compared to Inception v2 LSTM. However, Inception v2 LSTM has a lower computational cost compared to Inception LSTM.

研究动机与目标

• 通过增强循环视频模型中的特征表示，提升下一帧视频预测性能。
• 探究在LSTM门中使用多尺度卷积核操作是否能更好地捕捉视频帧之间的多样化运动模式。
• 评估两种Inception启发LSTM变体在性能与计算成本之间的权衡。
• 将所提架构集成至PredNet预测编码框架中，以实现一致比较。
• 在标准视频预测基准（KITTI和KTH）上展示该方法的有效性。

提出的方法

• 所提出的Inception启发LSTM将标准卷积LSTM门替换为多分支结构，每个门并行使用1×1、3×3和5×5卷积。
• 各卷积分支的输出通过拼接融合，并经由硬Sigmoid激活函数生成最终门输出，实现多尺度特征融合。
• 实现两个版本：版本1使用单个5×5卷积，版本2则用两个堆叠的3×3卷积替代5×5卷积以减少参数量。
• 该架构嵌入PredNet框架中，利用循环跳跃连接和自顶向下的上下文反馈实现误差传播。
• 门激活函数采用硬Sigmoid而非Sigmoid，以与原始PredNet实现保持一致。
• 训练采用MSE损失函数，评估在KITTI（交通场景）和KTH（人类行走）数据集上进行，分别使用160×128和160×120分辨率的RGB帧。

实验结果

研究问题

• RQ1 将标准卷积LSTM门替换为多尺度卷积核操作，能否提升下一帧视频预测性能？
• RQ2 在视频预测任务中，Inception启发LSTM架构是否在结构相似性和误差方面优于标准ConvLSTM？
• RQ3 Inception LSTM版本1与版本2在模型复杂度与性能之间的权衡如何比较？
• RQ4 所提方法是否受益于更长的时序上下文，即使用更多先前帧？
• RQ5 Inception启发LSTM的性能增益是否在KITTI和KTH等多样化视频数据集上保持一致？

主要发现

• Inception LSTM版本1在KITTI和KTH数据集上的均方误差（MSE）最低，表明其预测精度更优。
• Inception LSTM版本1在两个数据集上均取得最高的结构相似性指数（SSIM），证实其在预测中更好地保留了图像结构。
• 所有模型（包括Inception LSTM）的性能随时序上下文延长而提升，当历史帧数至少达到五帧时达到最大性能。
• Inception LSTM版本2相比版本1计算成本更低，尽管性能略有下降，表明其在效率方面具有更优的权衡。
• MSE与SSIM在测试视频上的置信区间显示各模型间存在重叠，但均值始终更有利于Inception LSTM版本1。
• 在KITTI和KTH数据集上的可视化对比显示，Inception LSTM生成的预测在运动细节上更清晰、更连贯，优于ConvLSTM。