[论文解读] Actions as Moving Points

Yixuan Li, Zixu Wang+2 more|arXiv (Cornell University)|Jan 14, 2020

Human Pose and Action Recognition参考文献 41被引用 7

一句话总结

该论文提出 MOC-Detector，一种无锚点、单阶段的时空动作管检测框架，将动作建模为移动点的轨迹。通过三个专用分支联合预测实例中心点、运动偏移量和边界框尺寸，该方法在 JHMDB 和 UCF101-24 数据集上实现了最先进性能，尤其在较高 IoU 阈值下表现优异，推理速度接近 25 FPS。

ABSTRACT

The existing action tubelet detectors often depend on heuristic anchor design and placement, which might be computationally expensive and sub-optimal for precise localization. In this paper, we present a conceptually simple, computationally efficient, and more precise action tubelet detection framework, termed as MovingCenter Detector (MOC-detector), by treating an action instance as a trajectory of moving points. Based on the insight that movement information could simplify and assist action tubelet detection, our MOC-detector is composed of three crucial head branches: (1) Center Branch for instance center detection and action recognition, (2) Movement Branch for movement estimation at adjacent frames to form trajectories of moving points, (3) Box Branch for spatial extent detection by directly regressing bounding box size at each estimated center. These three branches work together to generate the tubelet detection results, which could be further linked to yield video-level tubes with a matching strategy. Our MOC-detector outperforms the existing state-of-the-art methods for both metrics of frame-mAP and video-mAP on the JHMDB and UCF101-24 datasets. The performance gap is more evident for higher video IoU, demonstrating that our MOC-detector is particularly effective for more precise action detection. We provide the code at https://github.com/MCG-NJU/MOC-Detector.

研究动机与目标

• 为解决基于锚点的管检测器存在的计算成本高、性能次优的问题，其根源在于启发式锚点设计与定位方式。
• 通过利用运动信息作为结构归纳偏置，提升时空动作检测中的定位精度。
• 开发一种完全卷积、单阶段的检测框架，实现视频级别管检测的高效与高精度。
• 在标准基准如 JHMDB 和 UCF101-24 上，超越现有最先进方法，尤其在高 IoU 准则下表现更优。

提出的方法

• 该框架将每个动作实例视为移动点的轨迹，将检测任务分解为三项：中心点检测、运动偏移估计与框尺寸回归。
• 一个高效的 2D 主干网络从输入视频片段中提取特征，随后由三个专用分支处理：中心点分支、运动分支与框分支。
• 中心点分支检测动作实例的中心点，并在关键帧上预测动作类别。
• 运动分支估计相邻帧之间相对于中心点的运动偏移量，从而形成移动点的轨迹。
• 框分支在每个中心点处直接回归边界框尺寸，实现对空间范围的精确预测。
• 通过标准匹配策略将检测到的管连接跨帧，形成长时程的视频级动作管。

实验结果

研究问题

• RQ1 将动作建模为移动点轨迹，是否能带来更简单、更高效且更精确的管检测框架？
• RQ2 利用运动信息是否能提升定位精度，尤其是在高 IoU 阈值下？
• RQ3 无锚点、单阶段检测器是否能在时空动作检测中超越基于锚点和两阶段检测器的方法？
• RQ4 所提出的 MOC-Detector 在 JHMDB 和 UCF101-24 等标准基准上的表现如何，相较于最先进方法？
• RQ5 双流特征融合与预训练对检测精度与时间定位性能有何影响？

主要发现

• MOC-Detector 在 JHMDB 和 UCF101-24 上均实现了最先进性能，当在 UCF101-24 上预训练后，0.5:0.95 IoU 下的视频-mAP 达到 75.0%。
• 在 JHMDB 上，模型在 0.5 IoU 下达到 80.7% 的帧-mAP@0.5，在 0.75 IoU 下达到 80.5%，显著优于现有两阶段 3D 主干方法，且 GFLOPs 显著更低。
• 与现有方法相比，性能差距在更高 IoU 阈值（如 0.75）下最为明显，表明其具有更优的定位精度。
• 模型推理速度约为 25 FPS，得益于其完全卷积、单阶段设计，展现出高推理效率。
• 误差分析显示，在 UCF101-24 上时间误差（10.18%）占主导，而在 JHMDB 上分类误差（25.43%）最常见，表明在时间边界建模方面仍有改进空间。
• 双流特征融合提升了分类与漏检性能，但轻微损害了时间定位性能，表明融合设计存在权衡。