[论文解读] Im2Flow: Motion Hallucination from Static Images for Action Recognition

Ruohan Gao, Bo Xiong+1 more|arXiv (Cornell University)|Dec 12, 2017

Anomaly Detection Techniques and Applications参考文献 78被引用 10

一句话总结

该论文提出 Im2Flow 方法，通过利用从无标注视频中学习到的运动先验，从单张静态图像中幻觉生成光流。采用具有新颖光流编码的深度编码器-解码器网络，生成逼真的运动预测结果。当将这些预测结果与两流网络中的外观特征融合时，显著提升了动作识别准确率，在包括 UCF 和 Stanford-10 在内的七个数据集上达到最先进性能。

ABSTRACT

Existing methods to recognize actions in static images take the images at their face value, learning the appearances---objects, scenes, and body poses---that distinguish each action class. However, such models are deprived of the rich dynamic structure and motions that also define human activity. We propose an approach that hallucinates the unobserved future motion implied by a single snapshot to help static-image action recognition. The key idea is to learn a prior over short-term dynamics from thousands of unlabeled videos, infer the anticipated optical flow on novel static images, and then train discriminative models that exploit both streams of information. Our main contributions are twofold. First, we devise an encoder-decoder convolutional neural network and a novel optical flow encoding that can translate a static image into an accurate flow map. Second, we show the power of hallucinated flow for recognition, successfully transferring the learned motion into a standard two-stream network for activity recognition. On seven datasets, we demonstrate the power of the approach. It not only achieves state-of-the-art accuracy for dense optical flow prediction, but also consistently enhances recognition of actions and dynamic scenes.

研究动机与目标

• 为解决静态图像中缺乏显式运动线索的问题，通过从单张快照推断合理未来运动。
• 从数千个无标注视频片段中学习通用运动先验，以指导静态图像中的运动幻觉。
• 通过将原始图像的外观特征与幻觉生成的光流作为辅助运动信号相结合，提升静态图像动作识别性能。
• 证明即使在训练阶段未见过的动作，运动幻觉也能提升识别性能。

提出的方法

• 训练一个卷积编码器-解码器网络，将单张 RGB 图像转换为密集光流图，以建模短期动态。
• 提出一种新颖的光流编码方案，以更好地在图像翻译任务中表示运动向量。
• 从大规模未剪辑、无标注的视频片段集合中学习运动先验，捕捉多样的人体与物体运动。
• 在两流 CNN 架构中将幻觉光流与原始图像外观特征融合，实现端到端动作识别。
• 利用视频数据进行运动先验学习，并在静态图像识别基准上微调，以弱监督方式训练该框架。
• 应用迁移学习，将运动幻觉模型适配至新数据集，包括包含新动作类别的数据集。

实验结果

研究问题

• RQ1 深度神经网络能否仅使用视频数据作为监督信号，从单张静态图像中推断出合理的未来运动？
• RQ2 幻觉生成的运动作为辅助信号，在提升静态图像动作识别性能方面有多有效？
• RQ3 从多样化、无标注视频中学习到的运动先验，是否能在推理阶段泛化到未见的动作类别？
• RQ4 即使训练视频中不包含与测试图像相同动作，幻觉光流是否仍能提升识别性能？
• RQ5 在识别任务中，运动幻觉的性能与真实光流相比如何？

主要发现

• Im2Flow 在从静态图像进行密集光流预测方面达到最先进性能，显著优于先前方法。
• 在 UCF101 数据集上，该方法使用 BN-Inception 达到 90.5% 的准确率，与基于视频的方法的最先进性能持平。
• 在 Stanford-10 数据集上，将幻觉光流加入两流网络后，识别准确率相比仅使用外观特征的基线最高提升 3.9 个百分点。
• 即使对于训练视频中未出现的新动作（如扔飞盘），模型仍能通过推断运动获得有意义的性能提升。
• 在静态-YUP++ 动态场景识别基准上，使用推断运动后准确率从仅使用外观的 74.3% 提升至 78.2%，证明其在自然动态场景中的泛化能力。
• 该模型优于仅使用视频数据进行数据增强的先前方法，在 Stanford-10 上达到 74.9% mAP，远超最接近基线的 50.2% mAP。