[论文解读] A Self-Adaptive Proposal Model for Temporal Action Detection based on Reinforcement Learning

Jingjia Huang, Nannan Li+2 more|arXiv (Cornell University)|Jun 22, 2017

Human Pose and Action Recognition参考文献 16被引用 4

一句话总结

该论文提出了一种基于自适应时间动作检测模型，利用深度强化学习（DRL）通过一个能够动态调整时间窗口的智能体，迭代优化动作提议。通过采用具有时间池化和回归精炼的深度Q网络（DQN）智能体，该方法在仅使用每视频平均67个提议的情况下，在THUMOS 14数据集上实现了27.7%的mAP，显著少于基线方法，展现出高效率与高精度。

ABSTRACT

Existing action detection algorithms usually generate action proposals through an extensive search over the video at multiple temporal scales, which brings about huge computational overhead and deviates from the human perception procedure. We argue that the process of detecting actions should be naturally one of observation and refinement: observe the current window and refine the span of attended window to cover true action regions. In this paper, we propose an active action proposal model that learns to find actions through continuously adjusting the temporal bounds in a self-adaptive way. The whole process can be deemed as an agent, which is firstly placed at a position in the video at random, adopts a sequence of transformations on the current attended region to discover actions according to a learned policy. We utilize reinforcement learning, especially the Deep Q-learning algorithm to learn the agent's decision policy. In addition, we use temporal pooling operation to extract more effective feature representation for the long temporal window, and design a regression network to adjust the position offsets between predicted results and the ground truth. Experiment results on THUMOS 2014 validate the effectiveness of the proposed approach, which can achieve competitive performance with current action detection algorithms via much fewer proposals.

研究动机与目标

• 解决传统滑动窗口方法在长未剪辑视频中生成动作提议时计算成本过高的问题。
• 将动作检测建模为一种序列化、观察与优化相结合的过程，模仿人类感知机制。
• 在保持或提升检测精度的同时减少提议数量。
• 开发一种强化学习智能体，学习自适应调整时间窗口以高效定位动作。
• 整合时间池化与回归机制，以提升特征表示能力和定位精度。

提出的方法

• 智能体使用深度Q网络（DQN）学习策略，选择动作（如扩展、缩小、跳跃）以优化当前时间窗口。
• 智能体从视频中的随机窗口开始，根据DQN策略迭代调整其边界，最终收敛至真实动作片段。
• 应用时间池化以从长视频段中提取鲁棒特征，提升长程上下文表征能力。
• 通过回归网络对预测的提议边界进行微调，以减少预测值与真实值之间的偏移误差。
• 引入“跳跃”动作，帮助智能体脱离无信息区域，避免陷入局部陷阱。
• 采用基于预测与真实提议之间IoU的密集奖励设计，通过端到端强化学习进行模型训练。

实验结果

研究问题

• RQ1 强化学习智能体是否能通过序列化、自适应优化的方式学习生成高质量动作提议，而非依赖穷举滑动窗口？
• RQ2 时间池化的集成在动作检测中如何提升长时长视频段的特征表征能力？
• RQ3 采用端到端DQN训练在减少提议数量的同时，能在多大程度上保持检测性能？
• RQ4 增加回归头在自适应提议生成过程中如何提升定位精度？
• RQ5 组件消融（如时间池化、回归头）对整体检测性能有何影响？

主要发现

• 所提模型在THUMOS 14数据集上仅使用每视频平均67个提议即达到27.7%的mAP，优于提议数量更高的其他方法。
• 消融实验表明，移除时间池化会降低性能，表明其在捕捉长程上下文方面具有关键作用。
• 回归头显著提升了检测精度，采用回归头的模型mAP明显高于未使用该结构的模型。
• 尽管Ours-POOLING在低提议数量下具有更高召回率，但完整模型（Ours）因误报更少而达到最高mAP。
• 该模型在Tesla K80上运行速度达50.4 FPS，尽管采用自适应搜索过程，仍展现出强大的计算效率。