[论文解读] Dynamic Temporal Pyramid Network: A Closer Look at Multi-Scale Modeling for Activity Detection

Da Zhang, Xiyang Dai+1 more|arXiv (Cornell University)|Aug 7, 2018

Human Pose and Action Recognition参考文献 36被引用 7

一句话总结

本文提出动态时间金字塔网络（DTPN），一种单阶段、端到端的时间动作检测框架，通过动态帧采样、双分支多尺度特征层次结构以及显式融合局部与全局时间上下文，解决了多尺度建模挑战。DTPN在ActivityNet数据集上实现了41.44%的mAP（IoU=0.5），且在单张GPU上每视频仅需0.5秒推理时间。

ABSTRACT

Recognizing instances at different scales simultaneously is a fundamental challenge in visual detection problems. While spatial multi-scale modeling has been well studied in object detection, how to effectively apply a multi-scale architecture to temporal models for activity detection is still under-explored. In this paper, we identify three unique challenges that need to be specifically handled for temporal activity detection compared to its spatial counterpart. To address all these issues, we propose Dynamic Temporal Pyramid Network (DTPN), a new activity detection framework with a multi-scale pyramidal architecture featuring three novel designs: (1) We sample input video frames dynamically with varying frame per seconds (FPS) to construct a natural pyramidal input for video of an arbitrary length. (2) We design a two-branch multi-scale temporal feature hierarchy to deal with the inherent temporal scale variation of activity instances. (3) We further exploit the temporal context of activities by appropriately fusing multi-scale feature maps, and demonstrate that both local and global temporal contexts are important. By combining all these components into a uniform network, we end up with a single-shot activity detector involving single-pass inferencing and end-to-end training. Extensive experiments show that the proposed DTPN achieves state-of-the-art performance on the challenging ActvityNet dataset.

研究动机与目标

• 为解决在未剪辑视频中检测具有高度可变时间尺度的动作的挑战。
• 设计一种多尺度时间特征层次结构，以有效建模短时与长时动作。
• 通过显式融合局部与全局时间上下文，提升检测精度。
• 在实现最先进性能的同时，保持高推理效率，且采用单阶段、端到端方式。

提出的方法

• 在不同帧率（如16、64、256 FPS）下对输入视频进行动态采样，构建自然金字塔特征表示，同时保留短时与长时时间结构。
• 采用双分支架构，在每个尺度上分别设置时间卷积与时间池化分支，实现定位与分类任务的专门化学习。
• 通过后期融合双分支特征生成最终检测预测，提升模型鲁棒性与精度。
• 通过在特征层次的适当层进行拼接，显式融合局部时间上下文（相邻时刻）与全局时间上下文（整个视频时长）。
• 使用固定大小的特征金字塔处理任意长度输入视频，确保可扩展性与一致的输入表示。
• 端到端训练仅需一次前向传播，支持高效推理，并兼容多种主干网络。

实验结果

研究问题

• RQ1 如何在不损失时间结构的前提下，为任意长度输入视频构建多尺度时间特征表示？
• RQ2 在统一框架中，建模短时与长时动作实例的最优架构是什么？
• RQ3 局部与全局时间上下文在提升动作检测精度方面分别起到什么作用？
• RQ4 单阶段、端到端网络能否在保持高推理效率的同时实现最先进性能？

主要发现

• DTPN在ActivityNet数据集上达到41.44%的mAP（IoU=0.5），优于先前最先进方法。
• 双分支架构（时间卷积 + 时间池化）相比单分支设计，mAP提升超过5%（24.07% vs. 17.12%的仅TPool方案）。
• 同时融合局部与全局时间上下文使mAP提升至25.72%，超过仅使用单一上下文类型的模型。
• 密集与稀疏采样结合（256 + 64 + 16 FPS）性能最佳，优于仅使用密集或稀疏采样的方案。
• DTPN在单张GTX 1080 Ti GPU上每视频仅需0.5秒推理时间，显著快于先前方法（如Xu等人[31]的3.2秒）。
• 定性结果表明，DTPN能稳健检测复杂、多样的视频流中多种长度与时间位置的动作。