[论文解读] Convolutional Tensor-Train LSTM for Spatio-temporal Learning

Jiahao Su, Wonmin Byeon+4 more|arXiv (Cornell University)|Feb 21, 2020

Tensor decomposition and applications参考文献 59被引用 75

一句话总结

本论文提出一种高阶卷积张量-Train LSTM（Conv-TT-LSTM），用于学习视频中的长期时空相关性，采用卷积张量-Train分解来压缩建模多个过去状态，并在视频预测和早期活动识别上实现了最先进的结果。

ABSTRACT

Learning from spatio-temporal data has numerous applications such as human-behavior analysis, object tracking, video compression, and physics simulation.However, existing methods still perform poorly on challenging video tasks such as long-term forecasting. This is because these kinds of challenging tasks require learning long-term spatio-temporal correlations in the video sequence. In this paper, we propose a higher-order convolutional LSTM model that can efficiently learn these correlations, along with a succinct representations of the history. This is accomplished through a novel tensor train module that performs prediction by combining convolutional features across time. To make this feasible in terms of computation and memory requirements, we propose a novel convolutional tensor-train decomposition of the higher-order model. This decomposition reduces the model complexity by jointly approximating a sequence of convolutional kernels asa low-rank tensor-train factorization. As a result, our model outperforms existing approaches, but uses only a fraction of parameters, including the baseline models.Our results achieve state-of-the-art performance in a wide range of applications and datasets, including the multi-steps video prediction on the Moving-MNIST-2and KTH action datasets as well as early activity recognition on the Something-Something V2 dataset.

研究动机与目标

• 激励在视频数据中建模长期时空相关性的需求，超越第一阶 ConvLSTM。
• 利用新颖的卷积张量-Train分解 (CTTD) 开发一个计算高效的高阶 ConvLSTM。
• 在N个时间步内通过线性时间因式分解扩展时间感受野的同时保持空间结构。
• 在多数据集上演示视频预测和早期活动识别的强实证性能。
• 提供训练策略和架构组件，稳定并提升高阶时空学习。

提出的方法

• 提出一个高阶 ConvLSTM，通过函数 Φ(H(t−1),…,H(t−N)) 聚合来自多个过去隐藏状态的信息。
• 引入卷积张量-Train分解（CTTD），将卷积核序列 K(i) 因式分解为一串更小的因子 G(j)，使参数随历史阶数 N 线性增长。
• 使用一个预处理模块从过去的隐藏状态创建重叠、通道降维的表示 ˜H(i)，以缓解梯度问题并控制维度。
• 定义 Conv-TT-LSTM 的更新为 [I(t); F(t); ˜C(t); O(t)] = σ(W ∗ X(t) + CTTD{G(1),…,G(N)} ∗ [˜H(1),…,˜H(N)].
• 证明 CTT 模块的计算可以在线性时间 O(N) 内完成，满足效率和可扩展性约束。
• 提供包括学习率调度、计划采样、课程学习和梯度裁剪在内的训练策略，以稳定高阶训练。

实验结果

研究问题

• RQ1 在不造成参数指数级增长的情况下，高阶 ConvLSTM 能否在保持空间结构的同时引入更长的时间历史？
• RQ2 卷积张量-Train分解（CTTD）是否能够实现对长距离时空依赖的高效、可扩展建模？
• RQ3 预处理和训练策略是否提升高阶时空模型的优化和泛化能力？
• RQ4 与 ConvLSTM、3D-CNN 及最先进的预测器相比，Conv-TT-LSTM 在视频预测和早期活动识别上的表现如何？

主要发现

• Conv-TT-LSTM 在所评估的数据集上，在视频预测和早期活动识别方面始终优于 ConvLSTM 基线。
• 在 Something-Something v2 上，该模型在准确率方面较现有状态达到绝对提升8%。
• 在多步视频预测方面，Conv-TT-LSTM 在 Moving-MNIST-2 和 KTH 数据集上确立了新的状态前列。
• CTTD 在减少参数量和 FLOPs 的同时保持或提升预测性能，使得长时程时空建模成为可能。
• 一个系统的预处理模块和训练策略对于稳定和提升高阶模型至关重要。