[论文解读] Hallucinating Optical Flow Features for Video Classification

Yongyi Tang, Lin Ma+1 more|arXiv (Cornell University)|May 28, 2019

Advanced Image Processing Techniques参考文献 31被引用 3

一句话总结

本文提出 MoNet，一种运动幻觉网络，可在无需计算密集型光流估计的情况下，从外观特征生成光流特征。通过同时建模时序与上下文关系，MoNet 实现了两流视频分类，FLOPs 和存储空间减少高达50%，并在 Kinetics-400 与 YouTube-8M 上实现一致的性能提升，与真实光流相比准确率下降极小。

ABSTRACT

Appearance and motion are two key components to depict and characterize the video content. Currently, the two-stream models have achieved state-of-the-art performances on video classification. However, extracting motion information, specifically in the form of optical flow features, is extremely computationally expensive, especially for large-scale video classification. In this paper, we propose a motion hallucination network, namely MoNet, to imagine the optical flow features from the appearance features, with no reliance on the optical flow computation. Specifically, MoNet models the temporal relationships of the appearance features and exploits the contextual relationships of the optical flow features with concurrent connections. Extensive experimental results demonstrate that the proposed MoNet can effectively and efficiently hallucinate the optical flow features, which together with the appearance features consistently improve the video classification performances. Moreover, MoNet can help cutting down almost a half of computational and data-storage burdens for the two-stream video classification. Our code is available at: https://github.com/YongyiTang92/MoNet-Features.

研究动机与目标

• 消除两流视频分类中光流估计带来的高计算与存储成本。
• 开发一种方法，从外观特征中幻觉生成运动表征，而无需依赖光流计算。
• 通过使用幻觉生成的光流特征来互补外观特征，提升两流视频分类性能。
• 通过跳过光流提取与特征提取流程，实现高效的大规模视频分类。

提出的方法

• MoNet 采用并行架构，同时建模外观特征中的时序依赖关系与光流特征中的上下文关系。
• 网络采用递归扩展与残差连接，实现时间与空间上下文的信息传播。
• 将特征幻觉建模为序列到序列的翻译问题，利用类似 RNN 的长程建模机制，提升上下文聚合能力。
• 模型在 Kinetics-400 上使用外观特征与 I3D 提取的光流特征进行预训练，随后迁移至 YouTube-8M。
• 将幻觉生成的光流特征与外观特征在两流分类框架中进行融合。
• 通过端到端学习的映射，直接从外观特征生成运动特征，避免了光流计算与存储。

实验结果

研究问题

• RQ1 能否在不显式计算光流的情况下，从外观特征中有效幻觉生成光流特征？
• RQ2 并行建模方法是否能在捕捉复杂运动表征方面优于标准 RNN？
• RQ3 幻觉生成的光流特征在降低计算与存储成本的同时，能在多大程度上提升两流视频分类的准确率？
• RQ4 该幻觉运动表征在 YouTube-8M 等大规模视频数据集上的泛化能力如何？

主要发现

• 在 Kinetics-400 上，使用线性分类器的幻觉两流模型达到 71.32% 的 top-1 准确率，使用 NeXtVLAD 时达到 72.40%，显著优于单流外观模型。
• 在 YouTube-8M 上，幻觉两流模型在所有指标上均优于单外观流：Hit@1 为 88.62%，GAP@20 为 80.41%，MAP@20 为 79.39%，PERR 为 46.79%。
• 计算成本从使用真实光流时的 425 GFLOPs 降低至幻觉生成时的 224 GFLOPs，FLOPs 减半。
• 通过消除光流图像的存储需求，模型节省了约 50% 的数据存储空间。
• 随着 MoNet 模型深度增加，性能持续提升，验证了递归扩展策略的有效性。
• 幻觉生成的光流特征具有足够的表征能力，可有效互补外观特征，与使用真实光流的模型相比，准确率仅下降约 2%。