[论文解读] Context-aware and Scale-insensitive Temporal Repetition Counting

Huaidong Zhang, Xuemiao Xu+2 more|arXiv (Cornell University)|May 18, 2020

Human Pose and Action Recognition参考文献 35被引用 4

一句话总结

本文提出了一种上下文感知且与尺度无关的时序重复计数框架，以应对现实世界中重复动作的可变周期长度问题。该方法采用从粗到精的优化策略，结合双周期输入的双向回归网络，在多种时间尺度下提升准确性，实现在包括新提出的 UCFRep 数据集（526 个视频）在内的多个基准测试中的最先进性能。

ABSTRACT

Temporal repetition counting aims to estimate the number of cycles of a given repetitive action. Existing deep learning methods assume repetitive actions are performed in a fixed time-scale, which is invalid for the complex repetitive actions in real life. In this paper, we tailor a context-aware and scale-insensitive framework, to tackle the challenges in repetition counting caused by the unknown and diverse cycle-lengths. Our approach combines two key insights: (1) Cycle lengths from different actions are unpredictable that require large-scale searching, but, once a coarse cycle length is determined, the variety between repetitions can be overcome by regression. (2) Determining the cycle length cannot only rely on a short fragment of video but a contextual understanding. The first point is implemented by a coarse-to-fine cycle refinement method. It avoids the heavy computation of exhaustively searching all the cycle lengths in the video, and, instead, it propagates the coarse prediction for further refinement in a hierarchical manner. We secondly propose a bidirectional cycle length estimation method for a context-aware prediction. It is a regression network that takes two consecutive coarse cycles as input, and predicts the locations of the previous and next repetitive cycles. To benefit the training and evaluation of temporal repetition counting area, we construct a new and largest benchmark, which contains 526 videos with diverse repetitive actions. Extensive experiments show that the proposed network trained on a single dataset outperforms state-of-the-art methods on several benchmarks, indicating that the proposed framework is general enough to capture repetition patterns across domains.

研究动机与目标

• 为解决现实世界中重复动作周期长度可变且不可预测的问题，现有方法因固定时间尺度假设而难以应对。
• 通过整合多个动作周期的上下文理解，而非依赖孤立片段，提升重复计数的准确性。
• 通过采用分层的从粗到精优化策略，而非穷举全局搜索，降低周期长度搜索的计算成本。
• 建立一个新的大规模基准，用于时序重复计数，以支持未来研究。
• 通过在单一数据集上训练，实现跨领域泛化，并在多个基准测试中超越最先进方法。

提出的方法

• 提出一种从粗到精的周期优化策略，即在局部视频片段上初步估计周期长度，然后在整个视频中传播并进一步优化，以降低计算成本。
• 双向回归网络以两个连续的动作周期（双周期）作为输入，预测前一周期和后一周期的位置，实现上下文感知的估计。
• 网络采用多锚点回归头，以预测广泛时间尺度下的周期长度，提升对多样化周期变化的鲁棒性。
• 该框架整合过去和未来重复动作的上下文特征，避免在具有相似子动作（如交替手臂运动）的动作中出现误计数。
• 通过标注 UCF101 中的 526 个视频，构建了一个新基准 UCFRep，以支持重复计数的训练与评估。
• 该方法采用端到端训练，并在包括 QUVA Repetition 和 YTsegments 在内的多个数据集上，使用 MAE 和 OBOA 指标进行评估。

实验结果

研究问题

• RQ1 从粗到精的优化策略是否能有效降低可变重复动作周期长度估计的计算成本，同时保持准确性？
• RQ2 与单序列建模相比，引入两个连续重复周期的双向上下文信息在周期长度预测方面有何改进？
• RQ3 多锚点回归在应对多样化且不可预测的周期长度方面，其增强鲁棒性的程度如何？
• RQ4 在单一数据集上训练的模型是否能在不同基准和动作类别间实现良好泛化？
• RQ5 在不同时间尺度下（如 1x、2x 和 4x 周期长度变化），所提框架的性能表现如何？

主要发现

• 所提方法在 UCFRep 验证集上的平均绝对误差（MAE）为 0.147 ± 0.243，优于先前最先进方法。
• 消融实验表明，使用双时间尺度（Free）与多锚点（mAnchor）组合时性能最佳（MAE: 0.147 ± 0.243，OBOA: 0.79），证实了上下文信息与多尺度预测的有效性。
• 从粗到精的优化过程在每一阶段均提升准确性，第 5 阶段（74 次迭代）被选为速度与性能之间的最优权衡。
• 该模型在不同动作类别间泛化良好，MAE 的标准差较低（总体为 0.243，Biking 类为 0.062），表明对类别特异性变化具有鲁棒性。
• 在 4x 周期长度变化下，该方法取得 8.0% 的 OBOA，表明其在多样化时间尺度下具备强大的与尺度无关性。
• 该方法在三个基准测试（包括 QUVA Repetition 和 YTsegments）中均优于最先进方法，证实了其泛化能力。