[论文解读] DenseImage Network: Video Spatial-Temporal Evolution Encoding and Understanding

Xiaokai Chen, Ke Gao|arXiv (Cornell University)|May 19, 2018

Human Pose and Action Recognition参考文献 12被引用 6

一句话总结

DenseImage Network (DIN) 提出一种称为 DenseImage 的紧凑视频表示方法，将时空演化编码为矩阵形式，从而实现基于 2D CNN 的高效学习。通过应用具有多尺度滤波器宽度的时序顺序保持 2D 卷积，DIN 在显著降低计算与内存成本的前提下，实现了最先进的动作与手势识别性能，优于依赖光流或 3D CNN 的方法。

ABSTRACT

Many of the leading approaches for video understanding are data-hungry and time-consuming, failing to capture the gist of spatial-temporal evolution in an efficient manner. The latest research shows that CNN network can reason about static relation of entities in images. To further exploit its capacity in dynamic evolution reasoning, we introduce a novel network module called DenseImage Network(DIN) with two main contributions. 1) A novel compact representation of video which distills its significant spatial-temporal evolution into a matrix called DenseImage, primed for efficient video encoding. 2) A simple yet powerful learning strategy based on DenseImage and a temporal-order-preserving CNN network is proposed for video understanding, which contains a local temporal correlation constraint capturing temporal evolution at multiple time scales with different filter widths. Extensive experiments on two recent challenging benchmarks demonstrate that our DenseImage Network can accurately capture the common spatial-temporal evolution between similar actions, even with enormous visual variations or different time scales. Moreover, we obtain the state-of-the-art results in action and gesture recognition with much less time-and-memory cost, indicating its immense potential in video representing and understanding.

研究动机与目标

• 解决现有依赖光流或 3D CNN 的视频理解方法效率低下与计算成本过高的问题。
• 开发一种紧凑且高效的视频表示方法，以捕捉动作的核心时空演化特征。
• 使 2D CNN 能够在无需 3D 卷积或光流计算的前提下，有效建模多时间尺度下的动态演化。
• 在保持或提升在具有挑战性的基准测试中识别准确率的同时，降低内存占用与推理时间。

提出的方法

• 提出 DenseImage，一种矩阵表示方法，将空间信息编码在列中，时间演化编码在行序列中，将视频动态浓缩为紧凑形式。
• 设计一种保持时序顺序的 2D CNN，通过局部时序相关性约束，确保在特征学习过程中保持序列完整性。
• 应用具有不同滤波器宽度（如 2、3、4）的多尺度 2D 卷积，同时捕捉不同时间尺度下的时间演化。
• 仅使用 RGB 帧作为输入，无需预计算的光流或变形光流，从而降低数据与计算开销。
• 利用标准的 2D 卷积层进行高效特征提取，避免昂贵的 3D 卷积或双流架构。
• 通过端到端训练，使用标准交叉熵损失，时序顺序通过 DenseImage 矩阵与滤波器结构的设计得以保持。

实验结果

研究问题

• RQ1 紧凑的 2D 矩阵表示能否有效编码视频的关键时空动态？
• RQ2 具有多尺度时间卷积的 2D CNN 能否在无需 3D 卷积的情况下捕捉多时间尺度下的动态演化？
• RQ3 在特征学习过程中保持时序顺序是否能提升对具有视觉差异的相似动作的识别性能？
• RQ4 仅基于 RGB 帧的方法能否在降低计算成本的同时，实现比基于光流或 3D CNN 方法更高的准确率？

主要发现

• DenseImage Network 在 Something-Something 与 Jester 基准测试中达到最先进性能，优于 Two-Stream I3D 与 TSN 等方法。
• 由于去除了光流计算并采用 2D 卷积，与 Two-Stream I3D 相比，模型参数量减少 1.9 倍，计算复杂度降低 6.5 倍。
• t-SNE 可视化结果表明，来自不同滤波器宽度（2、4）的特征能有效分离相似动作类别，如“挥手”与“缩回两根手指”。
• 滤波器响应可视化显示，该模型即使在视觉复杂的动作中，也能正确识别关键帧与多时间尺度下的时间模式。
• 在基线对比中，即使时序顺序被反转，该方法仍保持高准确率，表明对时序扰动具有鲁棒性。
• 实验表明，局部时序相关性约束可稳定学习过程，并增强对多时间尺度动态演化的建模能力。