[論文レビュー] A Short Note on the Kinetics-700-2020 Human Action Dataset

Smaira, Lucas, João Carreira+4 more|arXiv (Cornell University)|Oct 21, 2020

Anomaly Detection Techniques and Applications参考文献 11被引用数 354

ひとこと要約

この論文は、Kinetics-700の2020版を説明し、クラスごとに少なくとも700クリップを補充し、データセット統計、データ収集の詳細、ベースラインI3Dの結果を提供します。

ABSTRACT

We describe the 2020 edition of the DeepMind Kinetics human action dataset, which replenishes and extends the Kinetics-700 dataset. In this new version, there are at least 700 video clips from different YouTube videos for each of the 700 classes. This paper details the changes introduced for this new release of the dataset and includes a comprehensive set of statistics as well as baseline results using the I3D network.

研究の動機と目的

• 2020年版 Kinetics-700-2020 データセット edition の動機と更新点を説明する。
• ビデオの欠落と希少クラスの成果を改善するためのデータ収集の改善を提示する。
• データセット統計、多様性分析、ベースラインI3Dの性能を提供する。
• クリップの補充がモデルのトレーニングと精度に与える影響を示す。

提案手法

• 各クラスが少なくとも700クリップを持つようにデータセットの編集を説明する。
• 希少クラスの成果を向上させるためにテキストクエリと多言語検索を強化する。
• 重複と誤分類を除去するためにクリップを重複排除とフィルタリングする。
• 最終データセットの地理的分布と多様性分析を報告する。
• ゼロから学習させた I3D RGB モデルを、Kinetics-700-2020 に対して、異なるトレーニングサイズで評価する。

実験結果

リサーチクエスチョン

• RQ1 従来版と比較してKinetics-700-2020にどのような変更が導入されたか？
• RQ2 クラスごとのクリップを補充することが、データセットのバランスとモデルの性能にどのような影響を与えるか？
• RQ3 強化収集手法の後の希少クラスの成果と品質の向上はどのようなものか？
• RQ4 動画は地理的・言語的にどの程度多様か？
• RQ5 異なるトレーニングセットサイズで、Kinetics-700-2020に対してI3D RGBモデルが達成するベースライン性能はどの程度か？

主な発見

• Kinetics-700-2020はクラスあたり最低700クリップを保証し、Kinetics-700よりバランスを改善している。
• 各クラスのトレーニング例数が増えるにつれてI3D RGBのベースライン性能が向上し、100〜600以上の例でトップ1/トップ5が上昇する。
• I3D RGBベースラインはKinetics-700-2020の検証で59.3%/82.0%、テストで58.2%/80.9%をすべてのトレーニングデータで達成。
• データセットの補充は動画の欠落問題に対処し、分割間の保持率を高く維持している（例: Kinetics-700 train 532,370 retained of 545,317; val 34,056 retained of 35,000; test 67,302 retained of 70,000）。
• 多言語対応の拡張テキストクエリとデデュプリケーションを追加することで、希少クラスの成果が改善される（ Appendix A に例を掲載）。
• 地理的分布は北米の支配が継続しており、エディションを重ねるごとにラテンアメリカの表現が増加している。