[論文レビュー] A Short Note about Kinetics-600

João Carreira, Eric Noland+3 more|arXiv (Cornell University)|Aug 3, 2018

Human Pose and Action Recognition参考文献 5被引用数 303

ひとこと要約

この論文はKinetics-400を600クラスに拡張し、各クラスにつき少なくとも600本のクリップを提供するKinetics-600データセットを説明し、データセット統計とベースラインI3Dの結果を提供します。

ABSTRACT

We describe an extension of the DeepMind Kinetics human action dataset from 400 classes, each with at least 400 video clips, to 600 classes, each with at least 600 video clips. In order to scale up the dataset we changed the data collection process so it uses multiple queries per class, with some of them in a language other than english -- portuguese. This paper details the changes between the two versions of the dataset and includes a comprehensive set of statistics of the new version as well as baseline results using the I3D neural network architecture. The paper is a companion to the release of the ground truth labels for the public test set.

研究の動機と目的

• DeepMind Kinetics データセットを 400 から 600 クラスへ拡張し、各クラスにつき少なくとも 600 本のビデオクリップを含める。
• 複数言語のクエリと堅牢な類似性マッチングを用いてデータ収集を改善する。
• ベンチマーキングと研究を支援するため、詳細な統計とベースラインモデルの結果を提供する。
• 独立評価を促進するため、公開テストセットの真値ラベルを公開する。

提案手法

• 各クラスについて英語とポルトガル語の複数のクエリを使用して候補動画を収集する。
• メタデータと関連動画タイトルの重み付き n-gram 表現を適用して、言語間で動画をクラスにマッチさせる。
• Kinetics-400 と同じパイプラインを維持する：クラス選定、候補動画マッチング、クリップサンプリング、ヒトによる検証、品質フィルタリング。
• クラスの変更とデータセットサイズの観点から Kinetics-600 と Kinetics-400 を比較する。

実験結果

リサーチクエスチョン

• RQ1 400 から 600 クラスへ拡張することで、アクション認識のベンチマーク性能にどのような影響があるか。
• RQ2 大規模アクションデータセットの候補動画収集を改善するデータ収集の新技術（多言語クエリと重み付き n-gram マッチング）は何か。
• RQ3 Kinetics-600 のデータセット統計とベースライン結果は Kinetics-400 と比較してどうか。

主な発見

指標	検証	テスト	テスト＋保持アウトテスト
Top-1 Accuracy	71.9%	71.7%	69.7%
Top-5 Accuracy	90.1%	90.4%	89.1%
100-Avg (Top-1,Top-5)	19.0	19.0	20.6%

• Kinetics-600 は 600 クラス、総クリップ数約 50 万、本数は Kinetics-400 よりクラス数で 50%、クリップ数で 60% 増加。
• Kinetics-600 でスクラッチから学習したベースライン I3D モデルは、テストセットで Top-1 71.7%、Top-5 90.4% を達成。
• Hold-out テストセットは標準テストセットより難しく、Top-1 69.7%、Top-5 89.1%。
• Kinetics-600 には標準テストセットと Activity-Net チャレンジ用の保持テストセットが含まれる。
• 元の Kinetics-400 のうち約368クラスが Kinetics-600 に継承され、32クラスが改名/変更され、いくつか再編成されている。