[論文レビュー] Human Pose-based Estimation, Tracking and Action Recognition with Deep Learning: A Survey

Lijuan Zhou, Xiang Meng+4 more|arXiv (Cornell University)|Oct 19, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

このサーベイは、深層学習に基づく人体ポーズ推定、トラッキング、行動認識について包括的かつ統合的なレビューを提供し、それらの相互接続性とエンドツーエンドフレームワークへの統合に焦点を当てる。2D/3D、単数/複数人、画像/動画の設定において最先端の手法を分析し、効率性、ゼロショット学習、マルチモーダル統合に関する主な課題と今後の方向性を特定する。

ABSTRACT

Human pose analysis has garnered significant attention within both the research community and practical applications, owing to its expanding array of uses, including gaming, video surveillance, sports performance analysis, and human-computer interactions, among others. The advent of deep learning has significantly improved the accuracy of pose capture, making pose-based applications increasingly practical. This paper presents a comprehensive survey of pose-based applications utilizing deep learning, encompassing pose estimation, pose tracking, and action recognition.Pose estimation involves the determination of human joint positions from images or image sequences. Pose tracking is an emerging research direction aimed at generating consistent human pose trajectories over time. Action recognition, on the other hand, targets the identification of action types using pose estimation or tracking data. These three tasks are intricately interconnected, with the latter often reliant on the former. In this survey, we comprehensively review related works, spanning from single-person pose estimation to multi-person pose estimation, from 2D pose estimation to 3D pose estimation, from single image to video, from mining temporal context gradually to pose tracking, and lastly from tracking to pose-based action recognition. As a survey centered on the application of deep learning to pose analysis, we explicitly discuss both the strengths and limitations of existing techniques. Notably, we emphasize methodologies for integrating these three tasks into a unified framework within video sequences. Additionally, we explore the challenges involved and outline potential directions for future research.

研究の動機と目的

• 従来のサーベイでしばしば別個に扱われる、人体ポーズ推定、トラッキング、行動認識のための深層学習手法について、包括的かつ統合的なレビューを提供すること。
• ポーズ推定、トラッキング、行動認識の間の相互依存関係を分析し、各タスクが互いにどのように支援し合うかを強調すること。
• 計算複雑性、スケルトン上のゼロショット学習、行動認識におけるマルチモーダル統合といった主な課題を特定すること。
• ポーズ推定、トラッキング、行動認識を統合的に最適化するエンドツーエンドの統合モデルの開発を提唱し、実用性と性能の向上を図ること。
• オクルージョンの処理、低解像度入力、精度と推論効率のバランスといった今後の研究方向性を提示すること。

提案手法

• ポーズ推定（2D/3D、単数/複数人）、ポーズトラッキング（後処理 vs. 結合型、トップダウン vs. ボトムアップ）、行動認識（推定されたポーズ vs. スケルトンベース）の各分野における手法を体系的に分類する。
• CNN、RNN、GCN、Transformer といった深層学習アーキテクチャを、スケルトン系列への応用に焦点を当ててレビューする。
• RGB動画入力を用いて、ポーズ推定、トラッキング、行動認識を統合的に実行するエンドツーエンドフレームワークを分析し、時間的整合性と精度の向上を実現する。
• 標準データセット上で性能を評価し、mAP や精度といった指標を用いて手法を比較し、複雑性と性能のトレードオフを明らかにする。
• 入力モodal（画像、動画）、タスクタイプ（推定、トラッキング、認識）、アーキテクチャ（例：GCN、Transformer）に基づく手法の分類法を提案する。
• 計算コストを低減するための効率的なアテンション機構（例：トークンのプルーニング）や軽量GCNの技術について議論する。

Figure 1: The taxonomy of this survey.

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づく人体運動解析において、ポーズ推定、ポーズトラッキング、行動認識はどのように相互に接続されているか？
• RQ2 ポーズ推定、トラッキング、行動認識を統合的に実行する現在の統合モデルの主な制限要因は何か？
• RQ3 スケルトンベースの行動認識におけるトランスフォーマーに基づくモデルの計算複雑性をどのように低減できるか？
• RQ4 スケルトンベースの行動認識におけるゼロショット学習の見通しと課題は何か？
• RQ5 RGB、スケルトン、テキストといったマルチモーダル統合を、より効果的かつ一般化可能に実装する方法は何か？

主な発見

• ポーズ推定、トラッキング、行動認識を統合的な深層学習フレームワークに統合することで、パイプラインベースの手法と比較して性能と時間的整合性が顕著に向上する。
• トランスフォーマーとグラフニューラルネットワーク（GCN）を組み合わせたモデルは、行動認識で最先端の精度を達成しているが、シーケンス長に比例して2乗のメモリと計算量を要するという課題がある。
• アテンション機構における重要でないトークンのプルーニングや選択により、トランスフォーマーに基づくモデルの計算コストを削減しつつ、精度の低下を最小限に抑えることができる。
• ゼロショットスケルトンベースの行動認識は未だ十分に研究されておらず、テキスト記述を活用して行動を埋め込み空間にマッピングする手法は少数にとどまり、一般化性能の向上に寄与している。
• RGB、スケルトン、テキストデータを用いたマルチモーダル統合は、視覚的に類似した行動を区別し、ゼロショット学習を可能にするという面で有望であるが、一般化可能でモデルに依存しない統合戦略が欠如している。
• ポーズ推定と行動認識を統合する現在の統合モデル（例：UPS）は、別個のモデルに比べて性能が劣っているため、より効果的な共同最適化フレームワークの開発が求められている。

Figure 2: The relationship among the three tasks.