[论文解读] Action Spotting using Dense Detection Anchors Revisited: Submission to the SoccerNet Challenge 2022

João V. B. Soares, Avijit Shah|arXiv (Cornell University)|Jun 15, 2022

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本论文提交了SoccerNet Challenge 2022 Action Spotting赛道的首奖作品，通过在密集检测锚点方法中引入特征的时间重采样、ResNet与组合特征的后期融合，以及改进的Soft-NMS后处理策略，实现了最先进性能。该方法在挑战测试集上的紧密平均mAP达到67.8，显著优于相同评估协议下的先前方法。

ABSTRACT

This brief technical report describes our submission to the Action Spotting SoccerNet Challenge 2022. The challenge was part of the CVPR 2022 ActivityNet Workshop. Our submission was based on a recently proposed method which focuses on increasing temporal precision via a densely sampled set of detection anchors. Due to its emphasis on temporal precision, this approach had shown significant improvements in the tight average-mAP metric. Tight average-mAP was used as the evaluation criterion for the challenge, and is defined using small temporal evaluation tolerances, thus being more sensitive to small temporal errors. In order to further improve results, here we introduce small changes in the pre- and post-processing steps, and also combine different input feature types via late fusion. These changes brought improvements that helped us achieve the first place in the challenge and also led to a new state-of-the-art on SoccerNet's test set when using the dataset's standard experimental protocol. This report briefly reviews the action spotting method based on dense detection anchors, then focuses on the modifications introduced for the challenge. We also describe the experimental protocols and training procedures we used, and finally present our results.

研究动机与目标

• 提升体育视频动作定位中的时间精度，特别是在紧密评估容差下。
• 解决现有特征集低特征频率（每秒1次）的局限性，该问题在小时间容差下阻碍了准确检测。
• 通过互补特征类型（组合特征与ResNet）的后期融合及优化后处理，提升性能。
• 在SoccerNet测试集上，依据标准评估协议实现最先进结果。
• 证明重采样与Soft-NMS在优化紧密平均mAP方面的有效性。

提出的方法

• 该方法采用1D U-Net主干网络，结合每秒1或2个的密集锚点，以实现动作检测中的高时间精度。
• 每个锚点预测一个检测置信度和一个细粒度的时间位移，将置信度偏移至预测的动作起始时间。
• 通过线性插值将特征从每秒1次重采样至每秒2次，以匹配紧密平均mAP容差半径的0.5秒增量。
• 后期融合通过加权平均logits的方式，结合在重采样后的组合特征和ResNet特征上训练的模型，最优权重在验证数据上确定。
• 应用简化的Soft-NMS后处理方法，基于重叠检测之间的时间距离衰减函数，抑制低置信度预测。
• 最终检测集通过在验证集上针对紧密平均mAP优化后的8秒窗口大小应用Soft-NMS获得。

实验结果

研究问题

• RQ1 将特征从每秒1次重采样至每秒2次，是否能提升在紧密平均mAP评估下的检测精度？
• RQ2 对互补特征类型（组合特征与ResNet）进行后期融合，是否能在动作定位中带来性能提升？
• RQ3 采用更小窗口大小的改进Soft-NMS策略，是否相比标准NMS能提升紧密平均mAP？
• RQ4 重采样、后期融合与优化Soft-NMS的组合是否能在SoccerNet测试集上实现最先进性能？
• RQ5 特征重采样与后期融合带来的性能增益在不同评估协议下是否具有鲁棒性？

主要发现

• 将组合特征从每秒1次重采样至每秒2次，使紧密平均mAP从60.7提升至62.6，更好地匹配评估指标的0.5秒容差增量。
• 使用8秒窗口大小的Soft-NMS替代20秒窗口大小的标准NMS，使紧密平均mAP小幅但稳定提升。
• 对重采样后的组合特征与ResNet特征进行后期融合，取得了最佳挑战结果：67.8的紧密平均mAP与78.0的标准平均mAP。
• 添加ResNet特征带来的性能增益大于在相同重采样组合特征上集成两个模型，表明特征之间具有互补性。
• 最终方法在SoccerNet测试集上创下新最先进水平，标准协议下达到65.1的紧密平均mAP，挑战协议下达到67.8。
• 结果表明，优化后处理与特征频率对紧密平均mAP至关重要，其对微小时间误差的敏感性高于标准平均mAP。