[论文解读] Diagnosing Error in Temporal Action Detectors

Humam Alwassel, Fabian Caba Heilbron+2 more|arXiv (Cornell University)|Jul 27, 2018

Human Pose and Action Recognition参考文献 37被引用 5

一句话总结

本文提出了一种用于时序动作检测器的诊断工具，可分析错误类型、动作实例特征及模型敏感性，而不仅依赖单一指标。研究发现，时序上下文、定位精度和多实例处理是主要挑战，而标注者间不一致并非动作定位进展的主要障碍。

ABSTRACT

Despite the recent progress in video understanding and the continuous rate of improvement in temporal action localization throughout the years, it is still unclear how far (or close?) we are to solving the problem. To this end, we introduce a new diagnostic tool to analyze the performance of temporal action detectors in videos and compare different methods beyond a single scalar metric. We exemplify the use of our tool by analyzing the performance of the top rewarded entries in the latest ActivityNet action localization challenge. Our analysis shows that the most impactful areas to work on are: strategies to better handle temporal context around the instances, improving the robustness w.r.t. the instance absolute and relative size, and strategies to reduce the localization errors. Moreover, our experimental analysis finds the lack of agreement among annotator is not a major roadblock to attain progress in the field. Our diagnostic tool is publicly available to keep fueling the minds of other researchers with additional insights about their algorithms.

研究动机与目标

• 解决现有时序动作检测研究中仅依赖单一标量指标、缺乏详细错误分析的问题。
• 通过系统化的诊断框架，识别最先进动作检测器的主要失效模式。
• 基于上下文大小、一致性与覆盖度等新属性，对动作实例的难度进行表征。
• 通过量化不同错误类型与实例特征对检测性能的影响，为未来模型开发提供指导。
• 公开发布诊断工具，包含标注数据与代码，以支持对动作检测算法的深入分析。

提出的方法

• 作者为六项新的动作特征（上下文大小、上下文距离、一致性、覆盖度、长度及视频中实例数量）收集了额外标注。
• 针对时序动作检测特性，将假阳性错误细分为六类，支持假阳性轮廓分析。
• 利用精确率-召回率曲线与误差影响分析，测量模型对各项动作特征的敏感性。
• 基于置信度水平（0.05 × P_N）定义漏检阈值，以评估不同实例类型下的漏检率。
• 对特征进行成对分析（如一致性 × 上下文大小），识别最难检测的组合。
• 发布诊断工具，包含标注数据、代码与评估方法，以支持社区范围的分析。

实验结果

研究问题

• RQ1 时序动作检测器主要产生哪些类型的错误？这些错误在不同方法间如何变化？
• RQ2 哪些动作实例特征对检测性能影响最大？
• RQ3 不同错误类型如何影响整体模型性能？其中哪类错误最具破坏性？
• RQ4 标注者间不一致在多大程度上阻碍了动作定位的进展？
• RQ5 哪些动作特征组合导致最高的漏检率？

主要发现

• 定位错误对所有测试检测器的性能影响最为显著。
• 检测器对时序上下文最为敏感，尤其当上下文大小较大或时间分布较广时。
• 视频中存在多个实例会使漏检率提高两倍以上，表明当前方法面临重大挑战。
• 低覆盖度（XS）与极弱一致性（XW）或大上下文大小（6）的组合构成特别困难的检测场景。
• 高一致性（XH）、小上下文（0）与高覆盖度（XL）的组合始终更容易检测。
• 标注者间不一致并非主要障碍，因为即使存在标注模糊，性能提升仍可实现。