[论文解读] End-to-End Learning of Motion Representation for Video Understanding

Lijie Fan, Wenbing Huang+4 more|arXiv (Cornell University)|Apr 2, 2018

Human Pose and Action Recognition被引用 31

一句话总结

本文提出TVNet，一种可微分的端到端可训练神经网络，通过将TV-L1光流算法的迭代步骤展开为神经层，学习类似光流的运动表征。TVNet在UCF101上实现95.4%的最先进动作识别准确率，在HMDB51上达到72.6%，优于手工设计的光流与学习型基线方法，同时实现高效联合训练，无需预先计算的光流存储。

ABSTRACT

Despite the recent success of end-to-end learned representations, hand-crafted optical flow features are still widely used in video analysis tasks. To fill this gap, we propose TVNet, a novel end-to-end trainable neural network, to learn optical-flow-like features from data. TVNet subsumes a specific optical flow solver, the TV-L1 method, and is initialized by unfolding its optimization iterations as neural layers. TVNet can therefore be used directly without any extra learning. Moreover, it can be naturally concatenated with other task-specific networks to formulate an end-to-end architecture, thus making our method more efficient than current multi-stage approaches by avoiding the need to pre-compute and store features on disk. Finally, the parameters of the TVNet can be further fine-tuned by end-to-end training. This enables TVNet to learn richer and task-specific patterns beyond exact optical flow. Extensive experiments on two action recognition benchmarks verify the effectiveness of the proposed approach. Our TVNet achieves better accuracies than all compared methods, while being competitive with the fastest counterpart in terms of features extraction time.

研究动机与目标

• 解决依赖预计算光流的两阶段视频动作识别方法中存在的效率低下与流程分离问题。
• 开发一种神经网络，实现端到端的运动表征学习，避免存储或重新计算光流特征。
• 实现运动特征学习与下游任务网络的联合优化，实现超越标准光流的特定任务适应。
• 在计算效率方面优于现有基于光流和3D CNN的方法，同时提升动作识别准确率。

提出的方法

• TVNet通过将TV-L1光流方法的迭代优化步骤展开为一系列可学习的神经层构建而成。
• TV-L1算法的每一次迭代均被建模为一个自定义神经层，保留原始求解器的数学结构。
• 网络使用预训练的TV-L1权重进行初始化，可立即使用而无需额外训练。
• TVNet与空间流（如BN-Inception）集成于双流架构中，并通过结合光流与分类目标的多任务损失进行联合微调。
• 模型实现端到端训练，允许梯度反向传播通过运动特征提取器，实现特定任务的适应。
• 推理阶段采用双流融合策略，固定以1:2的权重融合RGB流与运动流的预测结果。

实验结果

研究问题

• RQ1 能否设计一种神经网络，直接从视频数据中端到端可训练地学习类似光流的特征？
• RQ2 将成熟的优化算法（TV-L1）展开为神经网络结构，是否能在视频理解任务中优于标准光流方法？
• RQ3 与固定光流相比，运动特征提取器的端到端微调是否能提升动作识别准确率？
• RQ4 所提出的方法能否在保持或提升性能的同时，消除预计算和存储光流特征的需求？

主要发现

• TVNet在UCF101上实现95.4%的动作识别准确率，超越所有对比方法，包括TV-L1、FlowNet2.0和3D CNNs。
• 在HMDB51上，TVNet达到72.6%的准确率，优于所有基线方法，展现出在具有挑战性的动作识别基准上的强大泛化能力。
• 即使在冻结状态（即未进行微调）下，TVNet仍优于其他光流基线方法（如DIS-Fast和DeepFlow），证实其初始化质量优异。
• 与仅使用分类损失相比，采用联合损失的端到端训练显著提升性能，表明光流监督有助于特征学习。
• TVNet相较于使用TV-L1输入的双流基线模型表现显著更优（UCF101提升6.5%，HMDB51提升11.6%），证明了端到端运动学习的优势。
• TVNet在推理速度上表现优异，光流误差低，兼具高准确率与高效性，适用于实际部署。