[论文解读] Action Recognition with Dynamic Image Networks

Hakan Bilen, Basura Fernando+2 more|arXiv (Cornell University)|Dec 2, 2016

Human Pose and Action Recognition参考文献 43被引用 12

一句话总结

本文提出动态图像——一种紧凑的、类似图像的视频表示方法，通过秩池化编码外观和时间动态信息。通过将视频序列转换为单张图像，该方法使预训练的卷积神经网络（CNN）可直接应用于视频动作识别，在使用ResNeXt-101的四流架构下，于UCF101和HMDB51基准上实现了最先进性能。

ABSTRACT

We introduce the concept of "dynamic image", a novel compact representation of videos useful for video analysis, particularly in combination with convolutional neural networks (CNNs). A dynamic image encodes temporal data such as RGB or optical flow videos by using the concept of `rank pooling'. The idea is to learn a ranking machine that captures the temporal evolution of the data and to use the parameters of the latter as a representation. When a linear ranking machine is used, the resulting representation is in the form of an image, which we call dynamic because it summarizes the video dynamics in addition of appearance. This is a powerful idea because it allows to convert any video to an image so that existing CNN models pre-trained for the analysis of still images can be immediately extended to videos. We also present an efficient and effective approximate rank pooling operator, accelerating standard rank pooling algorithms by orders of magnitude, and formulate that as a CNN layer. This new layer allows generalizing dynamic images to dynamic feature maps. We demonstrate the power of the new representations on standard benchmarks in action recognition achieving state-of-the-art performance.

研究动机与目标

• 开发一种紧凑的、与内容无关的视频表示方法，以捕捉长期运动与外观信息，实现高效的深度学习。
• 通过将视频转换为动态图像，使现有的预训练静态图像CNN可直接应用于视频。
• 通过引入新型近似秩池化层，将序列处理替换为单图像推理，从而加速视频分析。
• 在不依赖光流或轨迹描述符等手工设计特征的情况下，提升动作识别准确率。

提出的方法

• 通过在视频帧上学习排序机器，利用秩池化提出动态图像作为视频的表示方法。
• 在像素级别和CNN特征图内应用秩池化，以生成动态图像和动态特征图。
• 引入一种可微分的近似秩池化算子作为可微的CNN层，支持反向传播的端到端训练。
• 设计四流CNN架构，融合来自RGB和光流输入的静态与动态表示。
• 将动态图像作为输入输入深度网络（如ResNeXt），实现端到端的视频动作识别。
• 采用一种可微且高效的标准秩池化的近似方法，使计算速度提升数个数量级。

实验结果

研究问题

• RQ1 能否学习一种紧凑的、类似图像的视频表示方法，同时保留外观和时间动态信息，以用于预训练的CNN？
• RQ2 如何使秩池化在视频动作识别的深度学习流水线中实现高效且可微分？
• RQ3 动态图像能否在不依赖手工特征（如改进的密集轨迹）的情况下，超越或匹配最先进方法？
• RQ4 结合来自RGB和光流的静态与动态表示，在多大程度上能提升动作识别准确率？
• RQ5 动态图像表示能否从原始像素推广到中间CNN特征图，以获得更丰富的表示？

主要发现

• 所提出的四流网络结合动态图像在HMDB51上达到96.0%的平均准确率，在UCF101上达到95.5%，优于先前最先进方法。
• 即使不使用光流或手工特征，该方法在UCF101上仍达到90.6%的准确率，超过大多数依赖此类输入的竞争对手。
• 引入改进的密集轨迹（iDT）仅带来微小性能提升（UCF101上从95.5%提升至96.0%），表明主要性能增益来自动态图像表示本身。
• 近似秩池化层使标准秩池化的计算速度提升数个数量级，同时保持性能并支持反向传播。
• 该方法在UCF101和HMDB51上均取得最先进结果，证明动态图像是强大且高效的视频表示方法。
• 动态图像表示支持使用非常深的网络（如ResNeXt）进行端到端训练，显示出与现代CNN架构的强兼容性。