[論文レビュー] UCF-101: A dataset of 101 human actions classes from videos in the wild

Khurram Soomro, Amir Zamir+1 more|arXiv (Cornell University)|Dec 3, 2012

Human Pose and Action Recognition参考文献 9被引用数 4,437

ひとこと要約

UCF101 は 101 クラスおよび YouTube からの 13,320 クリップを含む大規模で制約のないアクション認識データセットを導入し、bag-of-words アプローチを用いたベースライン結果を提供します。

ABSTRACT

We introduce UCF101 which is currently the largest dataset of human actions. It consists of 101 action classes, over 13k clips and 27 hours of video data. The database consists of realistic user uploaded videos containing camera motion and cluttered background. Additionally, we provide baseline action recognition results on this new dataset using standard bag of words approach with overall performance of 44.5%. To the best of our knowledge, UCF101 is currently the most challenging dataset of actions due to its large number of classes, large number of clips and also unconstrained nature of such clips.

研究の動機と目的

• 現実的な背景とカメラの動きを伴う大規模で多様なアクションデータセットの不足に対処する。
• アクション認識法を評価するために、ウェブ動画から取得した大規模なベンチマークデータセット（101 クラス、13k+ クリップ）を提供する。
• このデータセットにおける参照性能を確立するためのベースライン認識結果を提供する。
• 再現性とベンチマークのために、グループ構造、クリップの長さ、解像度、音声の可用性といったデータセットの特性を特徴づける。

提案手法

• ウェブ動画から 101 アクションクラスのデータセットを構築し、各アクションごとに 25 グループ、各グループにつき 4–7 クリップ。
• 51 アクションについては、25 FPS、320x240 解像度、DivX-encoded AVI クリップで音声を保持する。
• Harris3D のコーナーを抽出し、162 次元の HOG/HOF 特徴量を計算する。
• 100,000 個の STIP 特徴量に対して k-means で 4000-word のコードブックを構築し、各クリップを 4000 次元のヒストグラムとして表現する。
• ヒストグラム交差カーネルを用いた非線形多クラス SVM を、leave-one-group-out の 25-fold クロスバリデーションで訓練する。
• BoW ベースラインとともに、ベースライン精度とタイプ別の混同行列を報告する。

実験結果

リサーチクエスチョン

• RQ1 制約のない実世界の動画で堅牢なアクション認識ベンチマークに必要な規模と多様性はどの程度か。
• RQ2 カメラの動きと雑多な背景を伴う大規模で多様なアクションデータセットで、標準的な bag-of-words 表現はどの程度の性能を示すか。
• RQ3 UCF101 の異なるアクションタイプカテゴリごとのベースライン認識率はどの程度か。
• RQ4 クリップの特徴（グループ化、長さ、背景、動作）は認識性能にどのように影響するか。

主な発見

• UCF101 には 101 アクションクラスと 13,320 クリップが含まれ、約1600分のビデオに相当する。
• 4000-word コードブックを用いたベースライン BoW アプローチは総合精度 44.5% を達成。
• スポーツ系アクションは、特徴的な動きと背景の雑音が少ないため、最高のベースライン精度（約 50.54%）を達成。
• Human-Object Interaction および Body-Motion Only カテゴリは顕著に低いベースライン精度（約 37–38%）を示す。
• データセットは以前のデータセットより大規模で、制約のないウェブ動画と可変長のクリップを特徴とする、より難易度が高い。
• 著者は UCF101 での一貫した評価のために 25-fold クロスバリデーションを推奨している。