[论文解读] Delving into 3D Action Anticipation from Streaming Videos

Hongsong Wang, Jiashi Feng|arXiv (Cornell University)|Jun 15, 2019

Human Pose and Action Recognition参考文献 47被引用 5

一句话总结

本文提出了一种新颖的多任务学习框架，用于从流式视频中进行3D动作预测，通过利用互补的评估指标、优化的片段长度和采样策略，以及来自完整动作表征和类别无关标签的辅助监督。该方法通过精心设计的多任务损失，在标准基准上实现了最先进性能。

ABSTRACT

Action anticipation, which aims to recognize the action with a partial observation, becomes increasingly popular due to a wide range of applications. In this paper, we investigate the problem of 3D action anticipation from streaming videos with the target of understanding best practices for solving this problem. We first introduce several complementary evaluation metrics and present a basic model based on frame-wise action classification. To achieve better performance, we then investigate two important factors, i.e., the length of the training clip and clip sampling method. We also explore multi-task learning strategies by incorporating auxiliary information from two aspects: the full action representation and the class-agnostic action label. Our comprehensive experiments uncover the best practices for 3D action anticipation, and accordingly we propose a novel method with a multi-task loss. The proposed method considerably outperforms the recent methods and exhibits the state-of-the-art performance on standard benchmarks.

研究动机与目标

• 研究使用综合评估指标进行3D动作预测的最佳实践。
• 通过分析训练片段长度和片段采样方法的影响，提升模型性能。
• 探索整合完整动作表征和类别无关动作标签作为辅助信号的多任务学习策略。
• 开发一种新颖方法，其多任务损失函数在标准基准上优于近期方法。

提出的方法

• 作者引入了一个基于帧的动作分类模型作为3D动作预测的基线模型。
• 他们系统地评估了训练片段长度和片段采样策略对模型性能的影响。
• 提出了一种多任务学习框架，整合了两种辅助监督信号：完整动作表征和类别无关动作标签。
• 该方法采用多任务损失函数，联合优化动作预测和辅助任务。
• 引入互补的评估指标，以提供对模型行为更全面的评估。
• 最终模型在标准3D动作预测基准上进行训练和评估，以验证性能提升。

实验结果

研究问题

• RQ1 不同的训练片段长度和采样方法如何影响3D动作预测性能？
• RQ2 将完整动作表征作为辅助信号引入后，对动作预测有何影响？
• RQ3 使用类别无关动作标签作为辅助任务如何改善预测性能？
• RQ4 何种训练策略与损失函数组合在标准基准上表现最佳？

主要发现

• 优化片段长度和采样策略可显著提升3D动作预测性能。
• 将完整动作表征作为辅助任务可增强模型的泛化能力和动作预测能力。
• 使用类别无关动作标签作为辅助信号可进一步提高预测准确率。
• 所提出的结合专用多任务损失的多任务学习方法在标准基准上实现了最先进性能。