[論文レビュー] The Kinetics Human Action Video Dataset

Will Kay, João Carreira+10 more|arXiv (Cornell University)|May 19, 2017

Human Pose and Action Recognition参考文献 4被引用数 2,882

ひとこと要約

DeepMind Kinetics データセットは、人間の行動分類のための YouTube からの約 306k 本の動画クリップと 400 のアクションクラスを特徴とし、複数のアーキテクチャのベースライン結果と Preliminary bias analysis を提供します。

ABSTRACT

We describe the DeepMind Kinetics human action video dataset. The dataset contains 400 human action classes, with at least 400 video clips for each action. Each clip lasts around 10s and is taken from a different YouTube video. The actions are human focussed and cover a broad range of classes including human-object interactions such as playing instruments, as well as human-human interactions such as shaking hands. We describe the statistics of the dataset, how it was collected, and give some baseline performance figures for neural network architectures trained and tested for human action classification on this dataset. We also carry out a preliminary analysis of whether imbalance in the dataset leads to bias in the classifiers.

研究の動機と目的

• 人間の行動分類の大規模で多様なベンチマークを提供し、深層学習手法を前進させる。
• クリップが diverse な YouTube 動画から取得されるようにして、俳優、視点、照明、背景のバリエーションを最大化する。
• ビデオ理解のアーキテクチャ選択を導くためのベースラインモデルの性能を提供する。
• データセットのバイアス（例：性別やデモグラフィックバイアス）とそれが分類器に与える影響を分析する。

提案手法

• YouTube からの検索と画像検索のフィードバックからの学習を用いた画像分類器で時間的ローカライズを行い、singular、pairwise（person–person）、および person–object アクションを含む 400 アクションクラスを編成する。
• 候補クリップを YouTube 検索を通じて収集し、画像検索のフィードバックから訓練した画像分類器を用いて時間的ローカライズを行う。
• ターゲットアクションを再現するクリップであることを確認するために Mechanical Turk を用いた人間検証を行い、複数の肯定的確認を要求する。
• Inception-V1 の特徴類似性とコサイン閾値を用いて動画間のクリップを重複除去し、各動画につき 1 クリップになるようにする。
• Kinetics 上でゼロから three baseline のビデオアーキテクチャ（ConvNet+LSTM、Two-Stream、3D-ConvNet）を訓練・評価し、適用可能な場合は ImageNet の事前訓練を適用して、トップ1/トップ5 の結果を報告する。
• データセットのバイアスについて議論し、性別バランスと潜在的な分類器バイアスの予備分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 ビデオ行動データセットは、深層ネットワークを robust に訓練するために、どれくらい大規模で多様になり得るか。
• RQ2 Kinetics で標準的なビデオアーキテクチャはどの程度のベースライン性能を達成し、UCF-101 や HMDB-51 のような既存データセットと比べてどうか。
• RQ3 Kinetics データセットには、性別やデモグラフィックのバイアスが見られ、分類器の公平性に影響を与える可能性があるか。予備的分析でどれだけ検出可能か。
• RQ4 ウェブ動画から大規模で高品質なアクションデータセットを組み立てるためのデータ収集と清掃戦略は何か。

主な発見

• Kinetics は 400 アクションクラスを含み、クラスごとに 400–1150 クリップ、合計 306,245 本の動画と 306,245 クリップ、各クリップは約 10 秒。
• Kinetics 上でゼロから訓練した基盤アーキテクチャは、UCF-101 および HMDB-51 よりも性能が低く、データセットの難易度と多様性が高いことを示している。
• 3つの基盤モデルを評価：ConvNet+LSTM、Two-Stream、そして 3D ConvNet。入力モダリティと時間的フットプリントを変えて、時間モデリングと計算コストのトレードオフを示した。
• 予備的なバイアス分析では、ほとんどのクラスで性別ベースの分類子バイアスの強い証拠は見られないが、いくつかの例外が存在する（例：“shaving beard” は男性支配、“dunking basketball” は男性支配、“filling eyebrows” は女性支配）ため、さらに詳しい研究が必要である。
• この論文は基盤 TensorFlow 実装と、再現性を確保するための前処理、データ拡張、訓練レジメンについて議論している。