[论文解读] Generic Tubelet Proposals for Action Localization

Jiawei He, Mostafa S. Ibrahim+2 more|arXiv (Cornell University)|May 30, 2017

Human Pose and Action Recognition参考文献 23被引用 3

一句话总结

本文提出了一种通用的、与类别无关的 Tube Proposal Network (TPN)，用于在视频中生成时空 tubelet 候选区域，随后由使用融合 LSTMs 的 Temporal Understanding Network (TUN) 对其进行分类。该方法通过在端到端可微分、即插即用的框架中同时利用空间和时间上下文，在 UCF-Sports、J-HMDB21 和 UCF-101 数据集上实现了动作定位的最先进性能。

ABSTRACT

We develop a novel framework for action localization in videos. We propose the Tube Proposal Network (TPN), which can generate generic, class-independent, video-level tubelet proposals in videos. The generated tubelet proposals can be utilized in various video analysis tasks, including recognizing and localizing actions in videos. In particular, we integrate these generic tubelet proposals into a unified temporal deep network for action classification. Compared with other methods, our generic tubelet proposal method is accurate, general, and is fully differentiable under a smoothL1 loss function. We demonstrate the performance of our algorithm on the standard UCF-Sports, J-HMDB21, and UCF-101 datasets. Our class-independent TPN outperforms other tubelet generation methods, and our unified temporal deep network achieves state-of-the-art localization results on all three datasets.

研究动机与目标

• 解决视频动作定位中类别特定动作 tube 生成的局限性。
• 开发一种能够捕捉空间和时间上下文的通用、与类别无关的 tubelet 候选方法。
• 通过统一的、端到端可微分框架实现出色的动作定位与分类。
• 构建一种即插即用的架构，可与各种时间建模网络集成。
• 通过聚焦于与动作相关的时空区域，提升对背景杂波和相机运动的鲁棒性。

提出的方法

• 提出一种 Tube Proposal Network (TPN)，使用平滑L1损失函数，在整个视频中生成通用的、与类别无关的 tubelet 候选区域。
• 采用双流特征提取主干网络（例如 VGG16），从视频片段中提取空间和时间特征。
• 在三维空间中应用区域候选网络（RPNs），在空间和时间维度上生成候选 tubelet。
• 在 Temporal Understanding Network (TUN) 中使用融合 LSTMs，以建模每个 tubelet 中的长程时间依赖性。
• 以即插即用的方式集成 TPN 和 TUN，支持共享特征和端到端训练。
• 采用统一的训练流程，使 tubelet 候选区域在可微分目标下联合优化与分类。

实验结果

研究问题

• RQ1 一种通用的、与类别无关的 tubelet 候选方法是否能在视频动作定位中超越类别特定的动作 tube 生成方法？
• RQ2 统一的时间深度网络在利用通用 tubelet 候选区域进行时空动作分类方面效果如何？
• RQ3 与基于帧的检测方法相比，所提框架在多大程度上降低了对背景杂波和相机运动的敏感性？
• RQ4 TPN 是否可作为可重用的通用组件，应用于多种视频理解任务？
• RQ5 时间建模（例如 LSTMs）的集成在未修剪视频数据集上如何提升定位精度？

主要发现

• 所提出的 TPN 在所有三个数据集上均优于其他 tubelet 生成方法，即使在不使用 TUN 组件的情况下也表现出色，表明候选区域生成质量高。
• 在 J-HMDB21 数据集上，该方法在所有 IoU 阈值下均达到最先进 mAP，较之前方法提升 1.5–2.5%。
• 在 TUN 中引入 LSTM 进一部提升了 mAP，证明 tubelet 保留了足够的时序信息以实现精确分类。
• 在 UCF-Sports 上，该方法在不同 IoU 阈值下持续优于现有方法，证实了其鲁棒性与泛化能力。
• 在 UCF-101 上，尽管缺乏时序定位，该方法仍取得了具有竞争力的结果，并且在引入完整时序建模后展现出进一步提升的潜力。
• 该框架结构紧凑且可重用，TPN 与 TUN 共享特征，降低了计算成本，支持即插即用的部署。