[论文解读] Light Cascaded Convolutional Neural Networks for Accurate Player Detection

Keyu Lu, Jianhui Chen+2 more|arXiv (Cornell University)|Sep 29, 2017

Anomaly Detection Techniques and Applications参考文献 30被引用 5

一句话总结

本文提出一种轻量级级联卷积神经网络（CNN），用于在运动视频中实现高精度球员检测，采用端到端训练和空洞卷积策略，以提升在运动模糊和低分辨率等挑战性条件下的检测性能。该方法在参数量仅为传统CNN千分之一的情况下，实现了最先进（state-of-the-art）的检测精度，可在标准硬件上实现每秒10帧的实时性能。

ABSTRACT

Vision based player detection is important in sports applications. Accuracy, efficiency, and low memory consumption are desirable for real-time tasks such as intelligent broadcasting and automatic event classification. In this paper, we present a cascaded convolutional neural network (CNN) that satisfies all three of these requirements. Our method first trains a binary (player/non-player) classification network from labeled image patches. Then, our method efficiently applies the network to a whole image in testing. We conducted experiments on basketball and soccer games. Experimental results demonstrate that our method can accurately detect players under challenging conditions such as varying illumination, highly dynamic camera movements and motion blur. Comparing with conventional CNNs, our approach achieves state-of-the-art accuracy on both games with 1000x fewer parameters (i.e., it is light}.

研究动机与目标

• 解决在光照变化、运动模糊和低分辨率球员等条件下，实现高精度、实时球员检测的挑战。
• 设计一种紧凑高效的CNN架构，在最小化计算和内存开销的同时保持高精度。
• 通过一种新颖的空洞卷积策略，提升在动态摄像机环境和复杂背景下的检测鲁棒性。
• 提供一个全新的、公开可用的足球球员检测数据集，以支持运动视频分析领域的研究。
• 实现在无需微调的情况下跨游戏泛化，提升模型在不同运动和条件下的可迁移性。

提出的方法

• 设计了一种多阶段级联CNN架构，早期阶段通过复用前序阶段的共享特征图，快速排除非球员区域。
• 所有级联阶段通过全局端到端优化目标联合训练，提升特征表示能力和检测精度。
• 在推理阶段应用空洞卷积策略，对齐多尺度特征图，提升定位精度，同时不扩大感受野。
• 网络在图像块上进行二分类（球员/非球员）训练，测试时可高效应用于完整图像。
• 模型优化为参数量低于100KB，并在未优化的MATLAB代码下实现每秒10帧的高推理速度（1280×720图像）。
• 采用非极大值抑制（NMS）对最终边界框输出进行优化，减少误检。

实验结果

研究问题

• RQ1 级联CNN架构是否能在显著轻量化于传统CNN的同时，实现最先进水平的球员检测精度？
• RQ2 级联阶段的端到端联合训练相比独立阶段训练，能否显著提升检测性能？
• RQ3 空洞卷积策略在小尺寸或低分辨率球员上的检测精度提升程度如何？
• RQ4 所提方法是否能在无需微调的情况下，实现跨运动类型（如篮球与足球）的良好泛化？
• RQ5 在运动模糊、遮挡和动态摄像机运动等真实世界挑战性条件下，模型表现如何？

主要发现

• 所提方法在篮球和足球数据集上均取得最高的ROC曲线下面积（AUC），优于Faster R-CNN、SSD512、BRF和ICF。
• 在跨游戏评估中（在一个运动上训练，于另一运动上测试），方法仍保持卓越性能，表明其具备强大的泛化能力。
• 与基线方法相比，该模型能更有效地检测小尺寸球员，性能提升主要归因于端到端学习和空洞卷积策略。
• 使用未优化的MATLAB代码，该方法在1280×720图像上实现约每秒10帧的推理速度，证明了其具备实时可行性。
• 模型内存占用低于100KB，参数量仅为标准CNN的千分之一，展现出极高的效率。
• 所提出的足球球员检测数据集已公开，包含运动模糊、遮挡和光照变化等具有挑战性的场景，可支持未来研究。