[论文解读] Indoor Activity Detection and Recognition for Sport Games Analysis

Georg Waltner, Thomas Mauthner+1 more|arXiv (Cornell University)|Apr 25, 2014

Human Pose and Action Recognition参考文献 14被引用 3

一句话总结

本文提出了一种上下文感知方法，用于在室内运动中识别单名球员的活动，特别针对排球运动。通过引入活动上下文（AC）描述符，整合时空上下文信息，该方法聚合了时间和空间上的球员活动概率。通过在1.6秒的时间窗口内整合邻近球员的上下文信息，该方法将排球特定动作的平均球员中心分类准确率从77.56%提升至90.19%。

ABSTRACT

Activity recognition in sport is an attractive field for computer vision research. Game, player and team analysis are of great interest and research topics within this field emerge with the goal of automated analysis. The very specific underlying rules of sports can be used as prior knowledge for the recognition task and present a constrained environment for evaluation. This paper describes recognition of single player activities in sport with special emphasis on volleyball. Starting from a per-frame player-centered activity recognition, we incorporate geometry and contextual information via an activity context descriptor that collects information about all player's activities over a certain timespan relative to the investigated player. The benefit of this context information on single player activity recognition is evaluated on our new real-life dataset presenting a total amount of almost 36k annotated frames containing 7 activity classes within 6 videos of professional volleyball games. Our incorporation of the contextual information improves the average player-centered classification performance of 77.56% by up to 18.35% on specific classes, proving that spatio-temporal context is an important clue for activity recognition.

研究动机与目标

• 通过队友的上下文线索提升室内运动中单名球员活动识别的性能。
• 开发一种新型活动上下文（AC）描述符，用于建模球员之间的时空关系。
• 评估上下文信息对专业排球视频中活动识别性能的影响。
• 提供一个包含6场专业排球比赛共36,000帧标注的新真实生活数据集。
• 证明团队级上下文能提升对特定运动动作（如“拦网”和“发球”）的识别能力。

提出的方法

• 该方法首先使用HOG和HOF提取每帧的外观和运动特征，结合真实世界球员坐标（RWPC）和空间上下文（SC）描述符。
• 利用这些特征训练的支持向量机（SVM）对球员活动进行分类。
• 引入活动上下文（AC）描述符，用于在k帧的时间窗口内聚合所有球员的活动概率。
• AC描述符在球场平面上使用空间分箱方法，以建模相对于目标球员的位置和活动上下文。
• 通过评估超过750种描述符与SVM参数组合，优化性能。
• 在不同时间跨度（k = 10至100帧）上应用AC描述符，以确定最优上下文长度。

实验结果

研究问题

• RQ1 将队友的时空上下文信息整合到识别中，如何提升排球中单名球员活动识别的性能？
• RQ2 在活动识别中，上下文聚合的最优时间窗口长度是多少？
• RQ3 AC描述符在多大程度上减少了‘接球’与‘防守/移动’等相似类别之间的混淆？
• RQ4 不同特征组合（HOG、HOF、RWPC、SC）对识别准确率有何影响？
• RQ5 基于上下文的建模能否提升对特定运动动作（如‘拦网’和‘发球’）的识别性能？

主要发现

• 与基线单名球员识别相比，活动上下文（AC）描述符的引入使排球特定动作的平均分类准确率提高了7.20%。
• 在40帧（1.6秒）的上下文窗口下，达到最高整体准确率90.19%，显著优于基线的77.56%。
• ‘拦网’类别的识别率最高，达到97.60%，而‘发球’类别的识别率达到97.13%。
• ‘接球’类别获得最大提升，准确率从73.27%提高至91.62%，有效解决了与‘防守/移动’类别的混淆问题。
• 一般类别‘站立’和‘防守/移动’的准确率在使用AC后下降，因为这些动作随机发生，缺乏一致的时间上下文。
• RBF和多项式SVM核函数优于线性与S型核函数，其中多项式核函数表现最佳。