[论文解读] Fusing Motion Patterns and Key Visual Information for Semantic Event Recognition in Basketball Videos

Lifang Wu, Zhou Yang+5 more|arXiv (Cornell University)|Jul 13, 2020

Human Pose and Action Recognition参考文献 37被引用 5

一句话总结

本文提出了一种双流3D CNN框架，通过融合分离的全局与局部运动模式以及来自篮球框的关键视觉信息（KVI），实现对篮球视频中语义事件的识别。通过利用相机运动一致性进行全局运动估计，并采用基于CNN的KVI提取方法进行得分结果预测，该方法在NCAA数据集上达到最先进性能，并在NBA/CBA数据上表现出良好的泛化能力。

ABSTRACT

Many semantic events in team sport activities e.g. basketball often involve both group activities and the outcome (score or not). Motion patterns can be an effective means to identify different activities. Global and local motions have their respective emphasis on different activities, which are difficult to capture from the optical flow due to the mixture of global and local motions. Hence it calls for a more effective way to separate the global and local motions. When it comes to the specific case for basketball game analysis, the successful score for each round can be reliably detected by the appearance variation around the basket. Based on the observations, we propose a scheme to fuse global and local motion patterns (MPs) and key visual information (KVI) for semantic event recognition in basketball videos. Firstly, an algorithm is proposed to estimate the global motions from the mixed motions based on the intrinsic property of camera adjustments. And the local motions could be obtained from the mixed and global motions. Secondly, a two-stream 3D CNN framework is utilized for group activity recognition over the separated global and local motion patterns. Thirdly, the basket is detected and its appearance features are extracted through a CNN structure. The features are utilized to predict the success or failure. Finally, the group activity recognition and success/failure prediction results are integrated using the kronecker product for event recognition. Experiments on NCAA dataset demonstrate that the proposed method obtains state-of-the-art performance.

研究动机与目标

• 为解决在外观变化和遮挡情况下，传统基于跟踪的方法难以识别篮球视频中语义事件的挑战。
• 通过从混合光流中分离全局与局部运动模式，提升群体活动识别性能，这些模式在使用标准光流时难以解耦。
• 通过利用篮筐周围的键视觉信息（KVI），如篮网运动和球进入篮筐的动作，提升得分结果预测能力。
• 将动态运动特征与基于外观的结果预测整合到统一的语义事件识别系统中。
• 开发一种可泛化的框架，在包括NCAA、NBA和CBA在内的多样化数据集上均表现良好。

提出的方法

• 提出一种新颖的全局运动估计算法，利用相机调整模式（如平移、变焦）从混合运动场中分离出全局运动。
• 通过从混合运动场中减去估计的全局运动，提取局部运动模式，从而实现对群体层次动态的独立建模。
• 采用双流3D CNN架构：一路处理分离的全局运动，另一路处理局部运动，用于群体活动识别。
• 使用基于CNN的物体检测模块检测篮球框区域，并从KVI区域提取外观特征，用于成功/失败结果预测。
• 通过Kronecker积整合两条分支的输出——群体活动识别与成功/失败预测——生成最终的语义事件预测结果。
• 采用交叉熵损失端到端训练整个框架，并在多个数据集上使用平均平均精度（mAP）和准确率进行评估。

实验结果

研究问题

• RQ1 能否利用相机运动一致性，从篮球视频的混合光流中有效分离出全局与局部运动模式？
• RQ2 与单独使用运动或外观信息相比，融合分离的运动模式与关键视觉信息在语义事件识别方面有何提升？
• RQ3 所提方法在不同篮球数据集（如NCAA与NBA/CBA）之间具有多大程度的泛化能力，这些数据集在相机设置和视觉条件上存在差异？
• RQ4 KVI特征（如篮网运动、球进入篮筐）在团队运动中预测得分结果方面的贡献有多大？
• RQ5 Kronecker积能否有效结合基于运动的群体活动识别与基于外观的结果预测，实现联合事件分类？

主要发现

• 在NBA/CBA数据集上，该方法实现了0.609的平均平均精度（mAP）和0.506的准确率，相较于GCMP方法在mAP上提升16.7个百分点，在准确率上提升8.9个百分点。
• 在NCAA数据集上，该方法达到了最先进性能，mAP均值为0.506，准确率为0.417，展现出卓越的识别能力。
• 该方法在抢断事件上的表现尤为出色（mAP: 0.909），表明其在检测球员运动中突然战术反转方面具有强项。
• 在罚球和扣篮事件上的表现较低（mAP分别为0.286和0.000），主要由于训练数据有限，且这些类别间运动模式相似。
• 在Titan X GPU上，整个流水线的运行时间约为每视频片段41.8毫秒，表明具备实时推理能力。
• 消融实验证实，运动分离显著提升了识别性能，尤其在高运动复杂度的复杂场景中表现更优。