[論文レビュー] Dynamic Feature Description in Human Action Recognition

Ruoyun Gao, Michael S. Lew+1 more|arXiv (Cornell University)|Dec 31, 2010

Human Pose and Action Recognition参考文献 48被引用数 5

ひとこと要約

本稿では、空間的・時間的特徴点検出とキューブォイドベースの特徴表現を向上させることで、人間の行動認識のための動的特徴記述手法を提案する。特徴点周辺のキューブォイド内の構造的分布と内部コンテンツを統合することで、Bag-of-Wordsモデルにおける識別能が向上し、標準データセット上で優れた認識精度を達成する。

ABSTRACT

This work aims to present novel description methods for human action recognition. Generally, a video sequence can be represented as a collection of spatial temporal words by detecting space-time interest points and describing the unique features around the detected points (Bag of Words representation). Interest points as well as the cuboids around them are considered informative for feature description in terms of both the structural distribution of interest points and the information content inside the cuboids. Our proposed description approaches are based on this idea and making the feature descriptors more discriminative.

研究の動機と目的

• 人間の行動における動的運動パターンを捉えるのに制限を受ける静的特徴記述子の課題を解決すること。
• 空間的・時間的構造を活用することで、動画ベースの行動認識における特徴記述子の識別力を向上させること。
• 特徴点の分布と局所的キューブォイドコンテンツの両方を組み込むことで、Bag-of-Words表現を強化すること。
• 複雑な人間の行動シーケンスのためのより強固で情報豊富な特徴記述手法を開発すること。
• 検出された特徴点周辺の構造的およびコンテンツベースの特徴を統合することで、より高い認識精度を達成すること。

提案手法

• 動画ボリュームに3次元ハリスに類似した検出器を適用して、空間的・時間的特徴点を検出する。
• 検出された特徴点を中心に3次元キューブォイドを抽出し、局所的な運動および外観特徴を捉える。
• 各キューブォイドを、局所的な運動パターンと特徴点の空間的分布の組み合わせで記述する。
• 特徴点の構造的分布（空間的レイアウト）とキューブォイド内での内部特徴コンテンツ（テクスチャ、運動）を統合する。
• 空間的・時間的特徴点の位置とキューブォイドベースの記述子を統合して、動的特徴記述子を構築する。
• 最終的な行動分類のために、強化された記述子を用いたBag-of-Wordsモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、動画シーケンスにおける人間の行動認識のための特徴記述子をより識別可能にすることができるか？
• RQ2 特徴点の分布と局所的キューブォイドコンテンツを組み合わせることで、認識性能がどの程度向上するか？
• RQ3 動的特徴記述は、従来の静的記述子よりも行動認識タスクで優れていると期待できるか？
• RQ4 構造的特徴とコンテンツベース特徴が、どのようにして行動分類精度の向上に寄与するか？
• RQ5 キューブォイドベースの局所的表現は、動的シーンにおける特徴記述子のロバストネスにどのような影響を与えるか？

主な発見

• 提案された動的特徴記述手法は、ベースラインのBag-of-Wordsアプローチよりも高い認識精度を達成する。
• 特徴点の空間的分布とキューブォイド内部コンテンツの両方を組み込むことで、記述子の識別能が顕著に向上する。
• 多段階の特徴表現のおかげで、視点や運動速度の変化に対してもロバストであることが示された。
• 特徴点周辺の3次元キューブォイドの使用により、点のみの記述子よりも豊かな運動ダイナミクスを捉えることができる。
• 構造的特徴とコンテンツベース特徴の統合により、標準的な人間の行動認識ベンチマークで性能が向上する。
• 動画データにおける特徴の識別能と分類の信頼性の観点から、既存の手法を上回る性能を示した。