[论文解读] Real-Time End-to-End Action Detection with Two-Stream Networks

Alaaeldin El-Nouby, Graham W. Taylor|arXiv (Cornell University)|Feb 23, 2018

Human Pose and Action Recognition参考文献 20被引用 9

一句话总结

本文提出了一种实时、端到端可训练的双流 YOLOv2 网络，用于视频动作检测，通过集成 Flownet2 进行光流计算，并在流之间实现早期特征融合。通过联合训练两个流并在 Kinetics 上微调光流网络，该方法在 31 fps 下实现了最先进性能，优于以往的实时方法，同时通过端到端优化和迁移学习提升了效率与准确性。

ABSTRACT

Two-stream networks have been very successful for solving the problem of action detection. However, prior work using two-stream networks train both streams separately, which prevents the network from exploiting regularities between the two streams. Moreover, unlike the visual stream, the dominant forms of optical flow computation typically do not maximally exploit GPU parallelism. We present a real-time end-to-end trainable two-stream network for action detection. First, we integrate the optical flow computation in our framework by using Flownet2. Second, we apply early fusion for the two streams and train the whole pipeline jointly end-to-end. Finally, for better network initialization, we transfer from the task of action recognition to action detection by pre-training our framework using the recently released large-scale Kinetics dataset. Our experimental results show that training the pipeline jointly end-to-end with fine-tuning the optical flow for the objective of action detection improves detection performance significantly. Additionally, we observe an improvement when initializing with parameters pre-trained using Kinetics. Last, we show that by integrating the optical flow computation, our framework is more efficient, running at real-time speeds (up to 31 fps).

研究动机与目标

• 解决先前双流动作检测方法效率低下且性能不佳的问题，这些方法分别训练流，并使用第三方光流算法。
• 通过将光流计算直接集成到神经网络流水线中，实现更优的 GPU 利用率和更低延迟，从而实现推理实时化。
• 通过联合训练外观与运动流并采用早期融合，实现特征协同适应，从而提升检测准确性。
• 通过利用大规模 Kinetics 动作识别预训练进行迁移学习，缓解小规模动作检测数据集上的过拟合问题。
• 证明微调神经光流估计器（Flownet2）用于动作检测，可获得优于标准 EPE 优化光流的运动表征。

提出的方法

• 将 Flownet2 作为可微光流模块集成到双流网络中，实现外观与运动流的端到端训练。
• 通过在最终预测头之前拼接 RGB 流与光流流的最终激活特征，实现早期特征融合。
• 采用基于 YOLOv2 的架构，针对双流视频动作检测进行调整，使用共享主干网络并进行联合优化。
• 在 UCF-101-24 上进行动作检测微调之前，先在 Kinetics 数据集上对整个框架进行动作识别预训练。
• 专门针对动作检测任务对 Flownet2 组件进行微调，而非依赖其原始 EPE 优化权重。
• 采用批量归一化和跳跃连接，以稳定训练并改善深层双流架构中的梯度流动。

实验结果

研究问题

• RQ1 将光流计算直接集成到双流网络中，能否提升实时性能与端到端训练效率？
• RQ2 采用早期融合的外观与运动流联合训练，是否能比分别训练获得更高的动作检测准确率？
• RQ3 从大规模动作识别（Kinetics）进行迁移学习，能否提升在小规模动作检测数据集上的性能？
• RQ4 针对动作检测任务微调神经光流网络（Flownet2），是否能获得优于使用固定预计算光流的运动表征？
• RQ5 所提出的框架能否在保持 UCF-101-24 上最先进准确率的同时，实现实时推理（≥30 fps）？

主要发现

• 所提出的端到端框架在批量大小为 4 时达到 31 fps，尽管考虑了光流计算开销，仍比 Singh 等人 [18] 高出 3 fps。
• 将 Flownet2 针对动作检测进行微调后，mAP 提升了 0.89 个百分点，优于使用预训练 Flownet2 而不微调的情况。
• 使用 Kinetics 预训练使 UCF-101-24 在 IoU 阈值为 0.5 时的 f-mAP 提升了 6.91 个百分点（从 67.18 提升至 74.07）。
• 采用微调 Flownet2 与 Kinetics 预训练的模型在 IoU=0.5 时达到 74.07 f-mAP，超越了所有在修剪后的 UCF-101-24 视频上报告的其他方法。
• 双流特征的早期融合优于晚期融合或独立训练，表明存在互补性学习。
• 将光流计算集成到网络中可减少内存传输开销，并提升 GPU 并行化效率。