[论文解读] A Closer Look at Temporal Sentence Grounding in Videos: Datasets and Metrics

Yitian Yuan, Xiaohan Lan+4 more|arXiv (Cornell University)|Jan 22, 2021

Multimodal Machine Learning Applications参考文献 36被引用 11

一句话总结

本文揭示了现有视频时序句子定位（TSGV）基准中的缺陷，提出重新组织的数据集（Charades-CD 和 ActivityNet-CD），其时刻注释分布发生偏移，并引入新度量指标 dR@$n,IoU@$m，对过长预测进行惩罚。在新协议下，即使最先进的模型性能也显著下降，表明当前模型严重依赖注释偏差而非真正理解。

ABSTRACT

Despite Temporal Sentence Grounding in Videos (TSGV) has realized impressive progress over the last few years, current TSGV models tend to capture the moment annotation biases and fail to take full advantage of multi-modal inputs. Miraculously, some extremely simple TSGV baselines even without training can also achieve state-of-the-art performance. In this paper, we first take a closer look at the existing evaluation protocol, and argue that both the prevailing datasets and metrics are the devils to cause the unreliable benchmarking. To this end, we propose to re-organize two widely-used TSGV datasets (Charades-STA and ActivityNet Captions), and deliberately extbf{C}hange the moment annotation extbf{D}istribution of the test split to make it different from the training split, dubbed as Charades-CD and ActivityNet-CD, respectively. Meanwhile, we further introduce a new evaluation metric dR@$n$,IoU@$m$ to calibrate the basic IoU scores by penalizing more on the over-long moment predictions and reduce the inflating performance caused by the moment annotation biases. Under this new evaluation protocol, we conduct extensive experiments and ablation studies on eight state-of-the-art TSGV models. All the results demonstrate that the re-organized datasets and new metric can better monitor the progress in TSGV, which is still far from satisfactory. The repository of this work is at \url{this https URL}.

研究动机与目标

• 为揭示当前 TSGV 评估协议因数据集和度量偏差导致的不可靠性。
• 通过改变测试集中的时刻注释分布，重新组织现有数据集（Charades-STA 和 ActivityNet Captions），以打破训练-测试分布一致性。
• 提出一种新评估度量指标 dR@$n,IoU@$m，通过惩罚过长预测来减少因注释偏差导致的性能虚高。
• 提供一个更可靠的基准，用于衡量 TSGV 模型在表面性能提升之外的真实进展。

提出的方法

• 通过刻意改变训练集与测试集之间时刻注释分布，重新组织 Charades-STA 和 ActivityNet Captions 的测试集，生成 Charades-CD 和 ActivityNet-CD。
• 引入一种新度量指标 dR@$n,IoU@$m，通过为过长预测施加惩罚来校准 IoU 得分。
• 在一致的训练与评估设置下，应用新协议评估八种最先进的 TSGV 模型。
• 开展广泛的消融实验，分析模型在新基准下的行为，重点关注泛化能力与偏差利用情况。

实验结果

研究问题

• RQ1 由于注释偏差的存在，当前 TSGV 模型在多大程度上能超越训练数据分布进行泛化？
• RQ2 当测试集的时刻注释分布与训练集不同时，SOTA TSGV 模型的性能会如何下降？
• RQ3 所提出的 dR@$n,IoU@$m 度量是否能有效减少因过长预测导致的性能虚高？
• RQ4 在新评估协议下，无需训练的简单基线模型相较于复杂模型表现如何？

主要发现

• 在新基准下，即使性能最佳的 TSGV 模型也出现显著性能下降，表明其对注释偏差存在强烈依赖。
• 无需训练的简单基线模型在原始基准上达到 SOTA 性能，但在新协议下性能大幅下降，揭示其缺乏真正的泛化能力。
• 所提出的 dR@$n,IoU@$m 度量能有效惩罚过长预测，降低虚高的 IoU 得分，实现更公平的评估。
• 重新组织的数据集（Charades-CD 和 ActivityNet-CD）暴露了当前模型泛化能力的不足，表明 TSGV 领域的进展远不如先前认为的那样稳健。