[论文解读] Human Action Recognition and Prediction: A Survey

Yu Kong, Yun Fu|arXiv (Cornell University)|Jun 28, 2018

Human Pose and Action Recognition被引用 135

一句话总结

本综述回顾基于视觉的人体动作识别与预测的最新技术，涵盖表征、分类器、数据集、挑战、应用以及未来方向。

ABSTRACT

Derived from rapid advances in computer vision and machine learning, video analysis tasks have been moving from inferring the present state to predicting the future state. Vision-based action recognition and prediction from videos are such tasks, where action recognition is to infer human actions (present state) based upon complete action executions, and action prediction to predict human actions (future state) based upon incomplete action executions. These two tasks have become particularly prevalent topics recently because of their explosively emerging real-world applications, such as visual surveillance, autonomous driving vehicle, entertainment, and video retrieval, etc. Many attempts have been devoted in the last a few decades in order to build a robust and effective framework for action recognition and prediction. In this paper, we survey the complete state-of-the-art techniques in action recognition and prediction. Existing models, popular algorithms, technical difficulties, popular action databases, evaluation protocols, and promising future directions are also provided with systematic discussions.

研究动机与目标

• 调查动作识别与预测的完整前沿技术。
• 阐明识别（现状态）与预测（未来状态）之间的区别与相似性。
• 讨论具有代表性的数据集、评估协议和实际应用。
• 识别关键挑战并勾画未来研究的有前景方向。

提出的方法

• 将动作表征方法分为全局/整体特征与局部特征，并讨论它们的优点与局限。
• 回顾浅层（手工设计）与深度学习为基础的表征与分类器。
• 将动作分类器分为直接、序列、时空以及基于部件的模型，包括端到端深度框架。
• 总结数据集、评估协议，以及如类内/类间变异和数据标注等实际挑战。
• 突出实际应用和未来研究方向。

实验结果

研究问题

• RQ1 在不同视角和背景下实现鲁棒识别与预测的有效动作表征有哪些？
• RQ2 在数据需求与时序建模方面，识别与预测任务有何不同？
• RQ3 阻碍现实世界部署的主要挑战（变化性、噪声、数据标注）有哪些，以及如何缓解？
• RQ4 在紧急场景（如自动驾驶）中推进动作预测最具潜力的方向是什么？

主要发现

• 本综述汇总了动作识别与预测的前沿技术，并讨论数据集、协议和挑战。
• 强调了识别完整动作与从不完整序列中预测动作之间的区别。
• 它对广泛的表征和分类器家族进行了综述，从整体、局部、轨迹式、部件式到深度学习方法。
• 它讨论了现实世界的应用，如监控、视频检索、娱乐、人机交互和自动驾驶。
• 它指出了包括类内/类间变异、杂乱、相机运动、数据稀缺、动作词汇以及可预测性不均等在内的主要挑战。
• 它概述了当前研究中有前景的方向与存在的空缺。