[论文解读] Every Moment Counts: Dense Detailed Labeling of Actions in Complex Videos

Serena Yeung, Olga Russakovsky+4 more|arXiv (Cornell University)|Jul 21, 2015

Human Pose and Action Recognition参考文献 39被引用 83

一句话总结

本文提出了 MultiTHUMOS，一个大规模的未剪辑互联网视频密集多标签动作注释数据集，并提出了 MultiLSTM 模型，该模型基于 LSTM 架构，通过扩展的时间输入和输出连接来建模动作之间的复杂时序依赖关系。该方法在动作识别准确率方面取得改进，并支持动作预测等高级任务，在密集多标签视频理解任务中显著优于基线模型。

ABSTRACT

Every moment counts in action recognition. A comprehensive understanding of human activity in video requires labeling every frame according to the actions occurring, placing multiple labels densely over a video sequence. To study this problem we extend the existing THUMOS dataset and introduce MultiTHUMOS, a new dataset of dense labels over unconstrained internet videos. Modeling multiple, dense labels benefits from temporal relations within and across classes. We define a novel variant of long short-term memory (LSTM) deep networks for modeling these temporal relations via multiple input and output connections. We show that this model improves action labeling accuracy and further enables deeper understanding tasks ranging from structured retrieval to action prediction.

研究动机与目标

• 解决现有动作识别数据集集中于单个局部动作且缺乏密集多标签注释的局限性。
• 通过建模非约束视频中多个同时发生且时序关联的动作，实现对人类活动的全面理解。
• 开发一种深度学习模型，以捕捉跨帧动作之间的复杂时序依赖关系。
• 支持结构化检索和未来动作预测等高级视频理解任务。
• 为真实世界未剪辑视频序列中的密集多标签动作检测提供基准。

提出的方法

• 扩展 THUMOS 数据集，构建 MultiTHUMOS，一个包含 65 种动作类别和每帧平均 1.5 个标签的新数据集，涵盖 30 小时未剪辑视频。
• 提出 MultiLSTM，一种新型 LSTM 变体，通过多条输入和输出连接来建模动作类别之间及内部的时序关系。
• 通过学习同一帧内及邻近帧中动作之间的依赖关系，使模型能够处理密集多标签预测。
• 通过使用过去或以当前帧为中心的上下文窗口进行训练，引入时间偏移，实现对过去和未来动作的预测。
• 利用软注意力机制整合来自输入和输出序列的时序上下文，提升对动作转换的建模能力。
• 使用平均平均精度（mAP）在密集动作检测和动作预测任务上评估性能。

实验结果

研究问题

• RQ1 大规模密集多标签视频数据集是否能提升动作识别模型在复杂现实场景中的性能？
• RQ2 具有扩展输入和输出连接的改进 LSTM 架构，在单帧内建模多个动作之间时序依赖关系方面效果如何？
• RQ3 模型在密集动作序列中基于学习到的时序关系，预测未来或过去动作的能力在多大程度上有效？
• RQ4 在动作预测任务中，MultiLSTM 的时序建模能力与强基线模型及先验知识（如标签分布先验）相比表现如何？
• RQ5 从具有细粒度和层次化动作类别的数据集中，可以对动作转换模式和层次关系获得哪些见解？

主要发现

• MultiLSTM 在密集多标签动作检测基准上相比普通 LSTM 基线模型取得了更高的 mAP，证明了其更高的准确率。
• 模型在预测 0.5 秒前的动作时 mAP 达到约 30%，在预测未来最多 2 秒内的动作时，mAP 维持在 20–25% 之间。
• MultiLSTM 显著优于使用真实标签分布的基线模型，尤其在最近 1 秒内（0–1 秒），表明其具备更优的时序建模能力。
• 模型成功以高精度预测了如 Jump → Fall 和 Dribble → Shot 等动作转换，如定性示例所示。
• MultiTHUMOS 数据集中每段视频平均包含 10.5 种不同动作类别，远高于 THUMOS 的 1.1 种，支持对动作交互的更丰富分析。
• 超过 45% 的 MultiTHUMOS 帧包含两个或更多标签，验证了能够处理密集多标签时序推理的模型的必要性。