[論文レビュー] 3D Human Pose Estimation using Spatio-Temporal Networks with Explicit Occlusion Training

Yu Cheng, Bo Yang+2 more|arXiv (Cornell University)|Apr 7, 2020

Human Pose and Action Recognition参考文献 39被引用数 14

ひとこと要約

本論文は、単眼動画からのロバストな3次元人体ポーズ推定を目的とした、空間的・時間的特徴を統合する深層学習フレームワークを提案する。本手法は、多スケールの空間的・時間的特徴を統合し、ポーズの妥当性を検出する空間的・時間的ディスクライマナーを備え、キーポイントマスキングによる明示的な遮蔽拡張も実装している。本手法は、複数のベンチマークで最先端の性能を達成しており、Human 3.6MではMPJPEを2.8mm（6.5%）低減し、微調整なしに3DPWおよびMPI-INF-3DHPでも先行研究を上回っている。

ABSTRACT

Estimating 3D poses from a monocular video is still a challenging task, despite the significant progress that has been made in recent years. Generally, the performance of existing methods drops when the target person is too small/large, or the motion is too fast/slow relative to the scale and speed of the training data. Moreover, to our knowledge, many of these methods are not designed or trained under severe occlusion explicitly, making their performance on handling occlusion compromised. Addressing these problems, we introduce a spatio-temporal network for robust 3D human pose estimation. As humans in videos may appear in different scales and have various motion speeds, we apply multi-scale spatial features for 2D joints or keypoints prediction in each individual frame, and multi-stride temporal convolutional net-works (TCNs) to estimate 3D joints or keypoints. Furthermore, we design a spatio-temporal discriminator based on body structures as well as limb motions to assess whether the predicted pose forms a valid pose and a valid movement. During training, we explicitly mask out some keypoints to simulate various occlusion cases, from minor to severe occlusion, so that our network can learn better and becomes robust to various degrees of occlusion. As there are limited 3D ground-truth data, we further utilize 2D video data to inject a semi-supervised learning capability to our network. Experiments on public datasets validate the effectiveness of our method, and our ablation studies show the strengths of our networkś individual submodules.

研究の動機と目的

• 異なる動きの速度や物体スケールを有する動画における3次元人体ポーズ推定の課題に対処すること。
• 特に重度または部分的な遮蔽に対し、多くの既存手法が明示的に対処できない問題に対して、ロバスト性を向上させること。
• 空間的ポーズ構造と時間的運動ダイナミクスの両方を評価する空間的・時間的ディスクライマナーを導入することで、ポーズの一貫性と解剖学的妥当性を向上させること。
• 3次元の真値ラベルが限られる状況でも性能を向上させるために、2次元動画データを活用した半教師あり学習を可能にすること。
• 微調整なしに、3DPWのような多人数の屋外シーンを含む多様なデータセットで良好な性能を発揮する汎用性の高いフレームワークを設計すること。

提案手法

• 高解像度のヒートマップを生成するため、マルチスケールの空間的特徴を保持するHRNetを用い、2次元キーポイント検出のための潜在空間にエンコードすることで、空間的詳細を維持する。
• 潜在特徴に対してマルチストライドの時間的畳み込みネットワーク（TCN）を適用し、異なる動きの速度に応じた長距離の時間的依存性を捉える。
• 運動の整合性を評価する空間的KCS（キネマティックチェーン空間）と、ポーズ構造を評価する時間的KCSを統合した、空間的・時間的ディスクライマナーを導入し、予測された3次元ポーズ系列の妥当性を検証する。
• トレーニング中に2次元ヒートマップをマスキングすることで、軽度から重度の遮蔽を模擬する明示的な遮蔽拡張を実装し、ロバスト性を向上させる。
• 3次元と2次元のデータセットを同時に学習することで、3次元アノテーションが不足する状況でも一般化性能を向上させる半教師あり学習を採用する。
• 2本のブランチアーキテクチャを採用：1本は2次元キーポイント推定、もう1本は3次元ポーズ回帰を担当し、ディスクライマナーが adversarial 正則化を提供する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールの空間的・時間的特徴は、単眼動画における異なる動きの速度や物体スケールの下でも、3次元ポーズ推定のロバスト性を向上させるか？
• RQ2 ポーズ構造と運動ダイナミクスの両方を評価する空間的・時間的ディスクライマナーは、フレーム単位のディスクライマナーと比較して、より解剖学的に妥当な3次元ポーズ系列を生成するか？
• RQ3 トレーニング段階で明示的な遮蔽データ拡張を実施することで、実世界の遮蔽状況への一般化性能がどの程度向上するか？
• RQ4 本手法は、微調整なしに、特に3DPW や MPI-INF-3DHP のような困難なデータセットでも強力な性能を発揮できるか？
• RQ5 3次元真値ラベルが限られる状況で、2次元動画データを用いた半教師あり学習の設定はどの程度有効か？

主な発見

• Human 3.6M データセットにおいて、Protocol #1の下でMPJPEが2.8mm（相対的に6.5%）低減され、顕著な性能向上が確認された。
• P-MPJPEは2.1mm（相対的に6.4%）低減され、特に写真撮影や座る動作のように遮蔽が頻発する行動でより大きな改善が観察された。
• 3DPW データセットでは、微調整なしにP-MPJPEが71.8を達成し、先行手法の157.0および80.1を上回った。
• MPI-INF-3DHP では、3DHPデータに再トレーニングを行わず、Human 3.6Mでのみ学習したモデルでも3D PCKが1.6%向上した。これは、優れた一般化性能を示している。
• 人間の運動予測タスクにおいて、推論時に真値の3次元キーポイントが一切不要な状況でも、最先端のアプローチと同等の性能を達成した。
• アブレーションスタディの結果、マルチスケールの時間的特徴と空間的・時間的KCSディスクライマナーの両方が、遮蔽や高速運動の処理において顕著な性能向上に寄与していることが確認された。