[论文解读] A Short Note on the Kinetics-700-2020 Human Action Dataset

Smaira, Lucas, João Carreira+4 more|arXiv (Cornell University)|Oct 21, 2020

Anomaly Detection Techniques and Applications参考文献 11被引用 354

一句话总结

该论文描述了 2020 版 Kinetics-700， 每类至少补充到 700 条片段，并提供数据集统计、数据收集细节与基线 I3D 结果。

ABSTRACT

We describe the 2020 edition of the DeepMind Kinetics human action dataset, which replenishes and extends the Kinetics-700 dataset. In this new version, there are at least 700 video clips from different YouTube videos for each of the 700 classes. This paper details the changes introduced for this new release of the dataset and includes a comprehensive set of statistics as well as baseline results using the I3D network.

研究动机与目标

• 解释 2020 年版 Kinetics-700-2020 数据集版本的动机与更新。
• 给出数据收集方面的改进，以解决视频消失和稀有类别产出的问题。
• 提供数据集统计、多样性分析与基线 I3D 性能。
• 展示补充片段如何影响模型训练与准确性。

提出的方法

• 描述数据集编辑，以确保每个类别至少有 700 条片段。
• 提升文本查询和多语言搜索，以提高稀有类别产出。
• 进行去重和滤除片段，以消除重复与错误分类。
• 报告最终数据集的地理分布与多样性分析。
• 评估在 Kinetics-700-2020 上从头训练、不同训练规模下的 I3D RGB 基线模型。

实验结果

研究问题

• RQ1 相比以往版本，Kinetics-700-2020 引入了哪些变化？
• RQ2 每类补充片段对数据集平衡和模型性能有何影响？
• RQ3 在改进的数据收集方法后，稀有类别的产出和质量有何提升？
• RQ4 视频在地理和语言方面有多大程度的多样性？
• RQ5 在不同训练集规模下，I3D RGB 模型在 Kinetics-700-2020 上的基线性能如何？

主要发现

• Kinetics-700-2020 确保每个类别至少 700 条片段，改善了相对于 Kinetics-700 的平衡。
• 基线 I3D RGB 性能随着每类训练样本数量的增加而提升，在 100–600+ 个样本范围内 Top-1 / Top-5 分数提升。
• I3D RGB 基线在 Kinetics-700-2020 上使用所有训练数据时在验证集达到 59.3%/82.0%，在测试集达到 58.2%/80.9%。
• 数据集补充解决了视频消失问题，在分割上保持高保留率（例如 Kinetics-700 train 532,370 retained of 545,317; val 34,056 retained of 35,000; test 67,302 retained of 70,000）。
• 多语言扩展文本查询，加上去重，提升稀有类别的产出（在附录 A 中列出示例）。
• 地理分布显示北美持续占主导，编辑之间拉美地区 representation 增加。