[论文解读] A Novice Guide towards Human Motion Analysis and Understanding

Ahmed Nabil Mohamed|arXiv (Cornell University)|Sep 3, 2015

Human Pose and Action Recognition参考文献 132被引用 4

一句话总结

本文为计算机视觉领域中的人体运动分析与理解方向的初学者提供了一本全面的入门指南，整合了神经科学、心理学、艺术等多领域的洞见，系统性地概述了计算机视觉方法的关键方面。内容涵盖应用领域、传感器类型、运动分类体系、处理流程、经典综述、算法及公开数据集，为新研究者进入该领域提供了结构化的基础，辅以实用参考和跨学科背景。

ABSTRACT

Human motion analysis and understanding has been, and is still, the focus of attention of many disciplines which is considered an obvious indicator of the wide and massive importance of the subject. The purpose of this article is to shed some light on this very important subject, so it can be a good insight for a novice computer vision researcher in this field by providing him/her with a wealth of knowledge about the subject covering many directions. There are two main contributions of this article. The first one investigates various aspects of some disciplines (e.g., arts, philosophy, psychology, and neuroscience) that are interested in the subject and review some of their contributions stressing on those that can be useful for computer vision researchers. Moreover, many examples are illustrated to indicate the benefits of integrating concepts and results among different disciplines. The second contribution is concerned with the subject from the computer vision aspect where we discuss the following issues. First, we explore many demanding and promising applications to reveal the wide and massive importance of the field. Second, we list various types of sensors that may be used for acquiring various data. Third, we review different taxonomies used for classifying motions. Fourth, we review various processes involved in motion analysis. Fifth, we exhibit how different surveys are structured. Sixth, we examine many of the most cited and recent reviews in the field that have been published during the past two decades to reveal various approaches used for implementing different stages of the problem and refer to various algorithms and their suitability for different situations. Moreover, we provide a long list of public datasets and discuss briefly some examples of these datasets. Finally, we provide a general discussion of the subject from the aspect of computer vision.

研究动机与目标

• 为计算机视觉领域的初学者提供一个结构化的切入点，进入人体运动分析与理解这一复杂领域。
• 弥合神经科学、心理学、哲学及艺术等跨学科知识，以丰富计算机视觉研究。
• 系统化梳理运动分析的核心组成部分，包括数据采集、分类、处理流程及算法方法。
• 整理并回顾主要的公开数据集与经典综述，以支持研究的可复现性与基准测试。
• 对近期及高被引综述进行批判性概述，以指导运动分析中的方法选择。

提出的方法

• 整合神经科学、心理学及艺术等领域的基础概念，以指导人体运动的计算建模。
• 调研并分类用于运动数据采集的各种传感器模态（例如，RGB、深度、IMUs）。
• 回顾并梳理用于人体运动分类的既定分类体系，如动作类别与运动基元。
• 概述计算机视觉中标准的运动分析流程，包括检测、跟踪、表征与识别等阶段。
• 分析过去二十年间主要综述论文的结构与内容，以识别趋势与方法论模式。
• 整理并简要描述一份全面的公开可用人体运动数据集列表，以供研究使用。

实验结果

研究问题

• RQ1 如何通过神经科学与心理学等非计算机视觉学科的洞见，提升计算机视觉中的人体运动分析？
• RQ2 哪些传感器类型与数据模态在捕捉与分析人体运动方面最为有效？
• RQ3 在计算框架中，人体运动通常如何被分类与表征？
• RQ4 计算机视觉中运动分析流程的标准阶段与组成部分是什么？
• RQ5 哪些算法方法与综述结构在推动运动理解方面最具影响力？

主要发现

• 跨学科知识的整合——尤其是来自神经科学与心理学的洞见——可提供宝贵的先验知识与概念框架，从而提升计算机视觉中运动建模的性能。
• 根据应用场景与精度需求，广泛使用多种传感器，包括RGB相机、深度传感器与惯性测量单元（IMUs）。
• 运动分类通常基于分层分类体系，从粗粒度的动作类别到细粒度的运动基元。
• 标准的运动分析流程包括检测、跟踪、特征提取、表征与识别等阶段，每个阶段均有多种算法可供选择。
• 提供了一份经筛选的公开数据集列表，支持不同运动分析任务中的可复现性与基准测试。
• 近期及高被引综述揭示了反复出现的方法论模式，例如判别模型的使用与分层特征学习，尤其在动作识别中表现显著。