[论文解读] Human Pose-based Estimation, Tracking and Action Recognition with Deep Learning: A Survey

Lijuan Zhou, Xiang Meng+4 more|arXiv (Cornell University)|Oct 19, 2023

Human Pose and Action Recognition被引用 4

一句话总结

本综述对基于深度学习的人体姿态估计、跟踪与动作识别进行了全面且统一的回顾，强调了这些任务之间的相互关联，并将其整合到端到端框架中。该综述分析了2D/3D、单人/多人、图像/视频设置下的最先进方法，识别出在效率、零样本学习和多模态融合方面的主要挑战与未来方向。

ABSTRACT

Human pose analysis has garnered significant attention within both the research community and practical applications, owing to its expanding array of uses, including gaming, video surveillance, sports performance analysis, and human-computer interactions, among others. The advent of deep learning has significantly improved the accuracy of pose capture, making pose-based applications increasingly practical. This paper presents a comprehensive survey of pose-based applications utilizing deep learning, encompassing pose estimation, pose tracking, and action recognition.Pose estimation involves the determination of human joint positions from images or image sequences. Pose tracking is an emerging research direction aimed at generating consistent human pose trajectories over time. Action recognition, on the other hand, targets the identification of action types using pose estimation or tracking data. These three tasks are intricately interconnected, with the latter often reliant on the former. In this survey, we comprehensively review related works, spanning from single-person pose estimation to multi-person pose estimation, from 2D pose estimation to 3D pose estimation, from single image to video, from mining temporal context gradually to pose tracking, and lastly from tracking to pose-based action recognition. As a survey centered on the application of deep learning to pose analysis, we explicitly discuss both the strengths and limitations of existing techniques. Notably, we emphasize methodologies for integrating these three tasks into a unified framework within video sequences. Additionally, we explore the challenges involved and outline potential directions for future research.

研究动机与目标

• 为基于深度学习的人体姿态估计、跟踪与动作识别方法提供全面且统一的综述，这些方法在以往的综述中常被分别处理。
• 分析姿态估计、跟踪与动作识别之间的相互依赖关系，突出各任务如何相互支持。
• 识别关键挑战，如计算复杂度、骨骼上的零样本学习，以及动作识别中的多模态融合。
• 倡导开发端到端的统一模型，联合优化姿态估计、跟踪与动作识别，以提升实用性和性能。
• 概述未来研究方向，包括处理遮挡、低分辨率输入，以及在准确率与推理效率之间取得平衡。

提出的方法

• 系统性地对方法进行分类，涵盖姿态估计（2D/3D，单人/多人）、姿态跟踪（后处理与集成式，自顶向下与自底向上），以及动作识别（基于估计姿态与基于骨骼）。
• 回顾用于动作识别的深度学习架构，包括CNN、RNN、GCN和Transformer，特别关注其在骨骼序列上的应用。
• 分析使用RGB视频输入联合执行姿态估计、跟踪与动作识别的端到端框架，以提升时间一致性与准确性。
• 在标准数据集上评估性能，并使用mAP和准确率等指标比较方法，突出复杂度与性能之间的权衡。
• 基于输入模态（图像、视频）、任务类型（估计、跟踪、识别）和架构（如GCN、Transformer）提出方法的分类体系。
• 讨论高效注意力机制（如标记剪枝）和轻量化GCN，以降低基于Transformer和GCN模型的计算成本。

Figure 1: The taxonomy of this survey.

实验结果

研究问题

• RQ1 在基于深度学习的人体运动分析中，姿态估计、姿态跟踪与动作识别之间如何相互关联？
• RQ2 当前联合执行姿态估计、跟踪与动作识别的统一模型存在哪些关键局限性？
• RQ3 如何降低基于Transformer的模型在基于骨骼的动作识别中的计算复杂度？
• RQ4 基于骨骼的动作识别中，零样本学习的前景与挑战是什么？
• RQ5 如何有效且通用地实现多模态融合（如RGB、骨骼、文本），以提升动作识别性能？

主要发现

• 将姿态估计、跟踪与动作识别整合到统一的深度学习框架中，相比流水线式方法，显著提升了性能与时间一致性。
• 结合图神经网络（GCNs）的Transformer模型在动作识别中实现了最先进准确率，但其内存与计算量随序列长度呈二次方增长。
• 通过剪枝或选择注意力机制中的关键标记，可在不显著损失准确率的前提下降低基于Transformer模型的计算成本。
• 零样本骨骼动作识别仍研究不足，仅有少数方法利用文本描述将动作映射到嵌入空间以提升泛化能力。
• 使用RGB、骨骼与文本数据的多模态融合在区分视觉相似动作及实现零样本学习方面展现出潜力，但缺乏通用的、与模型无关的融合策略。
• 当前用于姿态估计与动作识别的统一模型（如UPS）性能仍落后于独立模型，表明亟需更有效的联合优化框架。

Figure 2: The relationship among the three tasks.