[論文レビュー] Action Recognition in Videos: from Motion Capture Labs to the Web

A. Lopes, Eduardo Valle+2 more|arXiv (Cornell University)|Jun 17, 2010

Human Pose and Action Recognition参考文献 137被引用数 13

ひとこと要約

本論文は、モーショングラフからリアルな「ウェブスケールの野生の動画」までの一連の進化を追跡するために、根本的な仮定と入力表現に基づいて分類する、動画における人間の行動認識のための新規分類法を提案する。この分類法は、実世界の制約のない動画データにおける行動認識に向けた有望な道筋として、Bag-of-Visual-Words（BoVF）フレームワークの重要性を強調している。

ABSTRACT

This paper presents a survey of human action recognition approaches based on visual data recorded from a single video camera. We propose an organizing framework which puts in evidence the evolution of the area, with techniques moving from heavily constrained motion capture scenarios towards more challenging, realistic, "in the wild" videos. The proposed organization is based on the representation used as input for the recognition task, emphasizing the hypothesis assumed and thus, the constraints imposed on the type of video that each technique is able to address. Expliciting the hypothesis and constraints makes the framework particularly useful to select a method, given an application. Another advantage of the proposed organization is that it allows categorizing newest approaches seamlessly with traditional ones, while providing an insightful perspective of the evolution of the action recognition task up to now. That perspective is the basis for the discussion in the end of the paper, where we also present the main open issues in the area.

研究の動機と目的

• 行動認識手法を一貫性を持った進化に基づく枠組みで整理し、その背後にある仮定と制約に焦点を当てる。
• 従来の制限付きモーショングラフ手法と、現実的で制約のない動画データを対象とした現代の手法との間のギャップを埋める。
• 各手法の仮定と限界を明示することで、特定の用途に適した原理的で妥当な手法選定を可能にする。
• BoVFに基づく手法とその増大する重要性に特に注目しながら、行動認識分野における最近の進展を包括的かつ最新の状況に合わせた概要を提供する。
• 特に、現実世界のシナリオにおける大規模かつ高品質なアノテート済み動画データの不足という、分野における未解決の課題を特定する。

提案手法

• 各手法の背後にある仮定と制約を反映する入力表現に基づいた、新たな整理枠組みを提案する。
• モーショングラフのような高制限な状況から、ウェブ動画のような非制限な状況までをカバーするスケールに沿って手法を分類し、分野の進化を可視化する。
• BoVFフレームワークが、耐障害性とスケーラビリティの両面で優れていることから、現実的で制約のない動画認識において、主流かつ有望なアプローチであると強調する。
• 軌跡ベースやHOG/HoG3Dといった古典的手法と、特徴点ベースやコンセプト確率統合といった現代的手法を、提案された分類法に位置づけてレビューする。
• データ不足に対処するためのデータ効率化戦略として、スクリプト/字幕を用いた半自動アノテーション、YouTubeを活用したデータ収集、プロトタイプベースの転移学習を議論する。
• 語彙木、プロトタイプ用のルックアップテーブル、並列アーキテクチャといった計算最適化手法が、大規模な認識タスクにおける効率性向上に寄与することを強調する。

実験結果

リサーチクエスチョン

• RQ1 モーショングラフから「ウェブスケールの野生の」動画に至るまで、行動認識手法の入力表現と背後にある仮定の観点から、どのように進化してきたか。
• RQ2 異なる行動認識技術の適用可能性を規定する主な制約と仮定は何か。
• RQ3 なぜBoVFベースのアプローチは、現実的で制約のない動画データにおける行動認識において、ますます効果的で有望な手段となっているのか。
• RQ4 ウェブスケールの応用に向けた行動認識をスケールアップするために、限られたアノテート済み学習データをどう扱うか。
• RQ5 特に、データアノテーションと複雑な環境下での手法の一般化に関する観点から、行動認識分野における主な未解決の課題は何か。

主な発見

• 提案された表現ベースの分類法は、従来の手法と最近の手法を効果的に統合し、分野の進化と手法選定の明確な理解を可能にした。
• 動画解析における制約の弱体化が明確なトレンドとなっており、手法は制限付きのラボ環境から、動的でごみだらけで現実世界の動画コンテンツを扱える方向へ進化している。
• Bag-of-Visual-Words（BoVF）フレームワークは、耐障害性とスケーラビリティの両面で優れていることから、現実的で制約のない動画における行動認識の主流かつ極めて効果的なアプローチとして浮上している。
• 動画の動的特性は、『踊る』『走る』『喧嘩する』といった運動依存的コンセプトを認識する上で不可欠であり、静止画技術ではうまく捉えきれない。
• 現在の手法は依然として、KTH や Weizmann、Hollywood Movies のような既存のデータベースが孤立しており範囲が限定的であるため、限られたアノテート済みデータの問題に直面している。
• 字幕を用いた半自動アノテーションやYouTubeを活用したデータ収集といった取り組みは、学習データのスケーリングに有望であるが、その潜在能力に比べてまだ十分に活用されていない。