[论文解读] AMTnet: Action-Micro-Tube Regression by End-to-end Trainable Deep Architecture

Suman Saha, Gurkirt Singh+1 more|arXiv (Cornell University)|Apr 17, 2017

Human Pose and Action Recognition参考文献 35被引用 9

一句话总结

AMTnet 提出了一种端到端可训练的3D区域提议网络（3D-RPN），通过仅使用RGB外观特征，直接回归并分类动作微管（action-micro-tubes）——即跨越两个连续帧的3D视频提议——从而避免了后续的管组装后处理。该方法在J-HMDB-21和UCF-101数据集上实现了最先进性能，通过联合优化空间与时间定位，利用学习到的时间关联机制将推理阶段计算量减少了50%。

ABSTRACT

Dominant approaches to action detection can only provide sub-optimal solutions to the problem, as they rely on seeking frame-level detections, to later compose them into "action tubes" in a post-processing step. With this paper we radically depart from current practice, and take a first step towards the design and implementation of a deep network architecture able to classify and regress whole video subsets, so providing a truly optimal solution of the action detection problem. In this work, in particular, we propose a novel deep net framework able to regress and classify 3D region proposals spanning two successive video frames, whose core is an evolution of classical region proposal networks (RPNs). As such, our 3D-RPN net is able to effectively encode the temporal aspect of actions by purely exploiting appearance, as opposed to methods which heavily rely on expensive flow maps. The proposed model is end-to-end trainable and can be jointly optimised for action localisation and classification in a single step. At test time the network predicts "micro-tubes" encompassing two successive frames, which are linked up into complete action tubes via a new algorithm which exploits the temporal encoding learned by the network and cuts computation time by 50%. Promising results on the J-HMDB-21 and UCF-101 action detection datasets show that our model does outperform the state-of-the-art when relying purely on appearance.

研究动机与目标

• 解决当前动作检测框架依赖帧级检测结果及后续管组装后处理所导致的次优性问题。
• 设计一种深度学习架构，能够联合回归和分类跨越两个连续帧的3D视频区域提议（微管）。
• 实现端到端训练，联合优化动作分类与3D边界框回归，而无需依赖光流信息。
• 通过使用网络编码的时间动态学习到的时间关联算法，替代启发式后处理，实现测试阶段计算量减少50%。
• 证明当时间建模被直接集成到网络架构中时，仅使用外观特征（RGB）即可超越使用光流增强的方法。

提出的方法

• 网络通过两个并行的VGG-16主干网络处理连续的RGB帧对，以提取深层特征。
• 在融合的特征图上应用3D-RPN，生成带有相关动作度分数的3D区域提议（微管）。
• 通过IoU阈值选择正负3D提议，实现动作度与回归损失的联合训练。
• 采用双线性特征池化与逐元素特征融合，为每个3D提议生成固定尺寸表示，并送入全连接层进行分类与回归。
• 在测试阶段，一种新颖的动作管生成器利用训练过程中学习到的时间编码，连接预测的微管，将计算量减少50%。
• 整个网络可端到端训练，通过一次前向传播联合优化动作分类与3D管回归。

实验结果

研究问题

• RQ1 能否通过深度网络联合回归和分类跨越两帧的3D视频区域提议，从而消除对后处理管组装的需求？
• RQ2 仅从RGB外观特征中直接学习时间依赖关系，是否能超越依赖光流的检测方法？
• RQ3 3D-RPN架构能否在不显式建模运动的情况下，仅使用外观特征有效编码时空动态？
• RQ4 与最先进两阶段框架相比，端到端3D提议网络在标准基准上的性能如何？
• RQ5 学习到的时间关联策略是否能在保持或提升检测精度的同时，减少测试阶段的计算量？

主要发现

• AMTnet 在仅使用RGB输入、不依赖光流的情况下，在J-HMDB-21和UCF-101数据集上均优于最先进方法。
• 在J-HMDB-21数据集上，模型将每段视频的推理时间缩短至8.5秒，优于[8]、[38]和[26]的推理速度。
• 在UCF-101数据集上，训练时间缩短至4天，相比[8]和[38]节省了2天。
• 模型成功检测到未修剪视频中具有较长时序跨度的动作（如VolleyballSpiking从第58帧到第107帧），与真实管高度匹配。
• 在运动模糊、光照变化以及类别间相似性（如“站立”与“就坐”）等挑战性条件下，模型泛化能力良好。
• 网络对尺度变化和部分遮挡具有鲁棒性，能准确检测较小或部分可见的动作实例。