[论文解读] Action Recognition in Videos: from Motion Capture Labs to the Web

A. Lopes, Eduardo Valle+2 more|arXiv (Cornell University)|Jun 17, 2010

Human Pose and Action Recognition参考文献 137被引用 13

一句话总结

本文提出了一种用于视频中人类动作识别的新分类法，通过其底层假设和输入表示方式对方法进行组织，追溯从受控动作捕捉到真实世界‘野生’视频的演变过程。它强调了袋装视觉词（BoVF）框架作为识别现实、非受限视频数据中动作的有前景路径。

ABSTRACT

This paper presents a survey of human action recognition approaches based on visual data recorded from a single video camera. We propose an organizing framework which puts in evidence the evolution of the area, with techniques moving from heavily constrained motion capture scenarios towards more challenging, realistic, "in the wild" videos. The proposed organization is based on the representation used as input for the recognition task, emphasizing the hypothesis assumed and thus, the constraints imposed on the type of video that each technique is able to address. Expliciting the hypothesis and constraints makes the framework particularly useful to select a method, given an application. Another advantage of the proposed organization is that it allows categorizing newest approaches seamlessly with traditional ones, while providing an insightful perspective of the evolution of the action recognition task up to now. That perspective is the basis for the discussion in the end of the paper, where we also present the main open issues in the area.

研究动机与目标

• 为视频中的动作识别方法提供一个连贯的、基于演化的组织框架，强调其底层假设和约束条件。
• 弥合传统受限动作捕捉方法与现代面向真实、非受限视频数据的方法之间的差距。
• 通过明确揭示每种方法的假设和局限性，实现针对特定应用的合理方法选择。
• 提供近期动作识别进展的全面、最新概述，尤其聚焦于基于BoVF的方法及其日益增长的相关性。
• 识别该领域中的开放挑战，特别是真实场景下大规模、高质量标注视频数据的稀缺性。

提出的方法

• 提出一种基于所用输入表示的新型组织框架，反映每种方法的底层假设和约束条件。
• 沿着从高度受限（例如动作捕捉）到非受限（例如网络视频）的光谱对方法进行分类，展示该领域的演变过程。
• 强调袋装视觉词（BoVF）框架作为在真实世界视频识别中占主导地位且极具前景的方法，因其鲁棒性和可扩展性而备受青睐。
• 回顾经典方法（例如基于轨迹的方法、HOG/HoG3D）和现代方法（例如基于兴趣点的方法、概念概率融合），并将其置于所提出的分类法中。
• 讨论数据效率策略，如使用脚本/字幕的半自动标注、基于YouTube的数据收集，以及基于原型的迁移学习，以应对数据稀缺问题。
• 强调计算优化技术，如词袋树、原型查找表，以及并行架构，以提升大规模识别中的效率。

实验结果

研究问题

• RQ1 从动作捕捉到‘野生’视频，动作识别方法在输入表示和底层假设方面如何演变？
• RQ2 哪些关键约束和假设定义了不同动作识别技术的适用性？
• RQ3 为何基于BoVF的方法在识别真实、非受限视频数据中的动作方面日益有效且具有前景？
• RQ4 如何应对有限的标注训练数据，以实现面向网络规模应用的动作识别扩展？
• RQ5 动作识别领域的主要开放挑战是什么，特别是在数据标注和复杂环境中方法泛化方面？

主要发现

• 所提出的基于表示的分类法成功整合了传统与近期方法，清晰揭示了该领域的发展脉络与方法选择逻辑。
• 视频分析中存在明显的弱约束趋势，方法正从受控实验室环境演进至处理动态、杂乱且真实世界的视频内容。
• 袋装视觉词（BoVF）框架已发展为在真实视频中进行动作识别的主导且高效的方法，因其鲁棒性和可扩展性而表现卓越。
• 视频的动态特性对于识别依赖运动的概念（如‘跳舞’、‘跑步’或‘打斗’）至关重要，而静态图像技术难以有效捕捉这些概念。
• 当前方法仍因标注数据有限而面临重大挑战，现有数据库如KTH、Weizmann和Hollywood Movies存在孤立且范围有限的问题。
• 诸如基于字幕的半自动标注和基于YouTube的数据收集等努力在扩展训练数据方面展现出潜力，但与潜在价值相比仍研究不足。