[论文解读] Budget-Aware Activity Detection with A Recurrent Policy Network

Behrooz Mahasseni, Xiaodong Yang+2 more|arXiv (Cornell University)|Nov 30, 2017

Human Pose and Action Recognition参考文献 24被引用 4

一句话总结

本文提出一种预算感知的端到端循环策略网络，用于在长无剪辑视频中高效进行时序动作检测，在时间约束下战略性地选择帧。通过将帧选择建模为马尔可夫决策过程，并使用策略梯度优化，该方法在每视频仅 0.35 秒内即实现 21.5 的 mAP（ActivityNet 上），比之前的方法快几个数量级，且直接优化 mAP 而无需分解。

ABSTRACT

In this paper, we address the challenging problem of efficient temporal activity detection in untrimmed long videos. While most recent work has focused and advanced the detection accuracy, the inference time can take seconds to minutes in processing each single video, which is too slow to be useful in real-world settings. This motivates the proposed budget-aware framework, which learns to perform activity detection by intelligently selecting a small subset of frames according to a specified time budget. We formulate this problem as a Markov decision process, and adopt a recurrent network to model the frame selection policy. We derive a recurrent policy gradient based approach to approximate the gradient of the non-decomposable and non-differentiable objective defined in our problem. In the extensive experiments, we achieve competitive detection accuracy, and more importantly, our approach is able to substantially reduce computation time and detect multiple activities with only 0.35s for each untrimmed long video.

研究动机与目标

• 解决现有时序动作检测方法因需对所有帧进行完整 CNN 推理而导致每视频需数秒至数分钟的低效问题。
• 通过在严格的时间和计算预算内运行，实现实时、设备端的视频分析。
• 开发一种统一的端到端框架，联合优化帧选择与检测，避免分离提议和分类阶段。
• 在训练目标中直接优化不可微的 mAP 指标，该指标是标准评估准则。
• 通过基于时间预算智能选择最具信息量的帧，而非处理所有帧，从而降低计算成本。

提出的方法

• 将帧选择建模为马尔可夫决策过程（MDP），其中策略在每一步决定提取并分析哪些帧。
• 使用基于长短期记忆网络（LSTM）的循环策略网络，以建模帧选择的序列决策过程。
• 基于平均平均精度（mAP）定义一个不可分解且不可微的损失函数，直接优化最终评估指标。
• 采用带有强化学习的策略梯度方法，近似 mAP 损失的梯度，实现端到端训练。
• 在每一步，策略观察局部帧邻域，预测片段的起止时间与类别，并选择下一步要观察的帧。
• 将帧特征提取（通过 CNN）、运动线索（帧间差分）和策略推理整合为单一高效流水线。

实验结果

研究问题

• RQ1 基于强化学习的策略网络能否在保持高精度的同时有效减少时序动作检测的推理时间？
• RQ2 将 mAP 作为目标函数直接优化，与使用代理或可分解损失相比，在帧选择中表现如何？
• RQ3 在严格的时间预算下，单一统一模型在端到端处理多个动作类别方面的能力有多强？
• RQ4 在不同时间约束下，策略步数（即帧选择次数）对检测精度有何影响？
• RQ5 在大规模数据集上，该方法能否在速度-精度权衡方面超越滑动窗口和两阶段方法？

主要发现

• 所提方法在 ActivityNet 上以 α=0.5 时达到 21.5 的 mAP，优于 SOTA 方法如 R-C3D 和 CDC，同时将每视频推理时间缩短至仅 0.35 秒。
• 与先前方法相比，该方法将计算时间减少了几个数量级，例如 UTS16（超过 930 秒）和 CDC（超过 930 秒），同时保持了具有竞争力的精度。
• 策略网络仅消耗总时间的 9.4%，表现出极高的效率，而特征提取占 80.1% 的时间，凸显了帧选择的重要性。
• 在 THUMOS14 上，该方法在 20 个类别中的 15 个上优于二值视觉注意模型 [Yeung et al., 2016]，整体 mAP 提高 5.3%，尽管是统一的多类别模型。
• 将策略步数从 6 增加到 30（时间从 0.35 秒增至 1.59 秒），在 α=0.5 时 mAP 提升 2.0%，表明增加预算具有明确收益。
• 该方法是首个在目标函数中直接优化 mAP 的方法，避免使用代理损失，从而更好地与最终评估指标对齐。