[论文解读] LAP-Net: Adaptive Features Sampling via Learning Action Progression for Online Action Detection

Sanqing Qu, Guang Chen+4 more|arXiv (Cornell University)|Nov 16, 2020

Human Pose and Action Recognition参考文献 24被引用 12

一句话总结

LAP-Net 提出了一种新颖的在线动作检测框架，通过基于学习到的动作进展自适应地采样补充特征，利用 Gumbel-Softmax 实现可微分的最优时间范围（过去或未来）选择，从而在 TVSeries、THUMOS-14 和 HDD 上显著优于当前最先进方法。该方法通过端到端训练实现最优 mAP 分数，无需强化学习，其核心在于根据动作阶段动态采样特征。

ABSTRACT

Online action detection is a task with the aim of identifying ongoing actions from streaming videos without any side information or access to future frames. Recent methods proposed to aggregate fixed temporal ranges of invisible but anticipated future frames representations as supplementary features and achieved promising performance. They are based on the observation that human beings often detect ongoing actions by contemplating the future vision simultaneously. However, we observed that at different action progressions, the optimal supplementary features should be obtained from distinct temporal ranges instead of simply fixed future temporal ranges. To this end, we introduce an adaptive features sampling strategy to overcome the mentioned variable-ranges of optimal supplementary features. Specifically, in this paper, we propose a novel Learning Action Progression Network termed LAP-Net, which integrates an adaptive features sampling strategy. At each time step, this sampling strategy first estimates current action progression and then decide what temporal ranges should be used to aggregate the optimal supplementary features. We evaluated our LAP-Net on three benchmark datasets, TVSeries, THUMOS-14 and HDD. The extensive experiments demonstrate that with our adaptive feature sampling strategy, the proposed LAP-Net can significantly outperform current state-of-the-art methods with a large margin.

研究动机与目标

• 为解决在线动作检测中补充特征固定时间范围的局限性，该局限性可能在不同动作阶段误导模型。
• 在推理过程中动态建模动作进展，实现上下文感知的特征选择。
• 通过使用可微分的 Gumbel-Softmax 实现离散特征范围选择，避免对复杂强化学习的依赖。
• 通过根据当前动作阶段自适应地调整特征聚合方式，提升实时视频流中的检测准确率。

提出的方法

• LAP-Net 引入了学习动作进展网络，通过专用的进展头在每个时间步估计当前动作进展。
• 利用 Gumbel-Softmax 技巧，从可能的时间范围离散分布中可微分地采样补充特征。
• 模型根据估计的动作进展阶段，自适应地选择过去观测或未来预测的特征。
• 将所选时间范围内的补充特征与当前特征融合，用于动作分类。
• 整个网络通过反向传播实现端到端训练，避免使用强化学习或奖励塑造。
• 该框架支持动态时间范围选择，最优范围随动作阶段（早期、中期、晚期）而变化。

实验结果

研究问题

• RQ1 动作进展如何影响在线动作检测中补充特征的最优选择？
• RQ2 基于动作阶段自适应采样过去或未来特征，是否能相比固定范围聚合提升检测性能？
• RQ3 是否能够无需强化学习，端到端训练离散特征采样模块？
• RQ4 不同时间范围大小和进展状态空间如何影响模型在多样化数据集上的性能？

主要发现

• LAP-Net 在 TVSeries 上实现了 85.3% 的最先进 mAP，显著优于之前最先进方法。
• 在 THUMOS-14 上，LAP-Net 达到 53.3% mAP，相比之前最佳的 52.6%（固定范围采样）有显著提升。
• 在 HDD 上，LAP-Net 达到 45.1% mAP，展现出在不同动作速度数据集上的鲁棒性。
• 消融实验证实，自适应特征采样策略（AFS）在所有三个数据集上均持续提升性能。
• 最优时间范围大小因数据集而异：TVSeries 为 K=9，THUMOS-14 为 K=7，HDD 为 K=3，反映出动作节奏的差异。
• 模型在未来动作预测任务中表现优异，THUMOS-14 上达到 44.0% mAP，TVSeries 上达到 78.8% mcAP，表明其具备强大的特征表示学习能力。