[論文レビュー] Fine-grained Activity Recognition with Holistic and Pose based Features

Leonid Pishchulin, Mykhaylo Andriluka+1 more|arXiv (Cornell University)|Jun 7, 2014

Human Pose and Action Recognition参考文献 26被引用数 13

ひとこと要約

本稿は、410のアクティビティからなる大規模データセット上で、包括的（密集トレイジェクトリ）およびポーズベース特徴を比較することにより、細分化された人間のアクティビティ認識を調査している。両表現は顕著に補完的であることが判明し、アクティビティによって性能が著しく変動するが、組み合わせることで最良の結果が得られ、困難なクラスにおいて平均23.5% mAPを達成した。

ABSTRACT

Holistic methods based on dense trajectories are currently the de facto standard for recognition of human activities in video. Whether holistic representations will sustain or will be superseded by higher level video encoding in terms of body pose and motion is the subject of an ongoing debate. In this paper we aim to clarify the underlying factors responsible for good performance of holistic and pose-based representations. To that end we build on our recent dataset leveraging the existing taxonomy of human activities. This dataset includes 24,920 video snippets covering 410 human activities in total. Our analysis reveals that holistic and pose-based methods are highly complementary, and their performance varies significantly depending on the activity. We find that holistic methods are mostly affected by the number and speed of trajectories, whereas pose-based methods are mostly influenced by viewpoint of the person. We observe striking performance differences across activities: for certain activities results with pose-based features are more than twice as accurate compared to holistic features, and vice versa. The best performing approach in our comparison is based on the combination of holistic and pose-based approaches, which again underlines their complementarity.

研究の動機と目的

• 幅広いアクティビティの範囲において、包括的特徴とポーズベース特徴の相対的な性能を評価すること。
• トラジェクトリ速度、視点、隠蔽、ポーズの複雑さといった要因が、各表現タイプの成功または失敗に与える影響を特定すること。
• 制御されたベンチマークを超えて、現実的で多様な動画シナリオにおいて、ポーズベース特徴が包括的手法を上回る可能性があるかどうかを評価すること。
• 両表現の補完的強みを考慮すると、組み合わせによる性能向上が顕著に得られるかどうかを特定すること。

提案手法

• 本稿では、410の人のアクティビティにわたる24,920個の動画スニペットを含み、ボディポーズや視点などの豊富なアノテーションが付与されたMPI Human Poseデータセットを用いる。
• 包括的表現として密集トレイジェクトリ（DT）を採用し、密な時空間的トレイジェクトリから外観および運動特徴を抽出する。
• 真値（GT）および予測（PS）の関節位置を用いたポーズベース特徴を適用し、時間的トラッキング（GT-T, PS-T）およびマルチポーズ推定（PS-M）を併用する。
• DTとPS-M特徴を記述子を連結することで統合し、SVMを用いたbag-of-wordsフレームワークで分類する。
• ポーズベース予測に基づき、信頼度が低いDTトレイジェクトリをフィルタリングする戦略を導入し、耐性を向上させる。
• 15の最大クラスにおいて平均平均精度（mAP）を用いて性能を評価し、失敗および成功事例の定性的分析も実施する。

実験結果

リサーチクエスチョン

• RQ1 多様な細分化された人間のアクティビティにおいて、包括的特徴とポーズベース特徴の性能はどのように比較されるか？
• RQ2 トラジェクトリ速度、トレイジェクトリ数、視点、ポーズの複雑さといった要因の中で、各表現タイプの性能に最も顕著に影響を与える要因は何か？
• RQ3 包括的特徴とポーズベース特徴はどの程度補完的であり、その組み合わせによって認識精度が顕著に向上するか？
• RQ4 どのアクティビティカテゴリにおいてポーズベース特徴が包括的特徴を上回り、逆にどのカテゴリで包括的特徴が優れているか？
• RQ5 隠蔽および身体部位の可視性は、ポーズ推定の信頼性およびその後の認識性能にどのように影響するか？

主な発見

• 包括的手法（密集トレイジェクトリ）は平均19.0% mAPを達成するが、ポーズベース手法（PS-M）は20.2% mAPを達成するが、アクティビティによって性能が著しく変動する。
• 「ヨガ、パワーヨガ」においては、真値ポーズ特徴がDT（10.6% mAP）およびPS-M（18.3% mAP）を上回り、22.3% mAPを達成する。これは明確で安定したポーズがあるためである。
• PS-MとDT特徴の組み合わせ（PS-M + DT）は、最高のmAPである23.5%を達成し、明確な補完的性質を示している。
• 「自転車レース」や「ゴルフ」のようなアクティビティでは、組み合わせ手法が個々の手法と比較して10ポイント以上の性能向上を達成している。
• ポーズベース手法は視点およびポーズの複雑さに対して最も感受性が高く、包括的手法はトレイジェクトリ速度および数に最も影響を受ける。
• 「木工、一般作業」と「調理」では、すべての手法が性能を発揮しない（mAP < 10%）ため、複雑で変動しやすい運動を捉えることの困難さが示されている。