[論文レビュー] Anatomy-aware 3D Human Pose Estimation in Videos.

Tianlang Chen, Chen Fang+4 more|arXiv (Cornell University)|Feb 24, 2020

Human Pose and Action Recognition被引用数 16

ひとこと要約

本稿では、動画フレーム間での骨格の一貫性を活用して、ポーズ推定を骨の方向と長さの回帰に分解する、解剖学的特徴を考慮した3次元人体ポーズ推定手法を提案する。方向予測には完全畳み込み型で長距離スキップ接続を持つネットワークを、骨の長さと方向の学習を整合させるための共同シフト損失を導入し、Human3.6MおよびMPI-INF-3DHPデータセットで最先端の性能を達成した。

ABSTRACT

In this work, we propose a new solution for 3D human pose estimation in videos. Instead of directly regressing the 3D joint locations, we draw inspiration from the human skeleton anatomy and decompose the task into bone direction prediction and bone length prediction, from which the 3D joint locations can be completely derived. Our motivation is the fact that the bone lengths of a human skeleton remain consistent across time. This promotes us to develop effective techniques to utilize global information across {\it all} the frames in a video for high-accuracy bone length prediction. Moreover, for the bone direction prediction network, we propose a fully-convolutional propagating architecture with long skip connections. Essentially, it predicts the directions of different bones hierarchically without using any time-consuming memory units (e.g. LSTM). A novel joint shift loss is further introduced to bridge the training of the bone length and bone direction prediction networks. Finally, we employ an implicit attention mechanism to feed the 2D keypoint visibility scores into the model as extra guidance, which significantly mitigates the depth ambiguity in many challenging poses. Our full model outperforms the previous best results on Human3.6M and MPI-INF-3DHP datasets, where comprehensive evaluation validates the effectiveness of our model.

研究の動機と目的

• 人体骨格の解剖学的制約を活用することで、動画ベースの3次元人体ポーズ推定の精度を向上させること。
• 2次元キーポイント観測における奥行きの曖昧さを、可視性スコアを暗黙のガイドとして組み込むことで解消すること。
• 再帰的ユニットを用いないことで、長距離の時系列モデリングを可能にし、骨の長さ予測にためのグローバルな動画コンテキストを活用すること。
• 骨の方向と長さの予測を統合するための新しい共同シフト損失を導入し、最適化を改善すること。
• 物理的根拠に基づくポーズ推定の分解を用いて、ベンチマークとなる3次元人体ポーズデータセットで最先端の性能を達成すること。

提案手法

• 本手法は、3次元ポーズ推定を2つのサブタスクに分解する：骨の方向と長さの予測を行い、それらから解析的に完全な関節位置を導出する。
• 再帰的ユニット（例：LSTM）を避けるために、階層的な骨の方向予測を実現する完全畳み込み型ネットワークに長距離スキップ接続を適用する。
• 骨の長さの予測を向上させるために、すべての動画フレームからのグローバルコンテキストを統合し、骨の長さの時系列的不変性を活用する。
• 骨の方向と長さの予測ネットワークの最適化を整合させるために、共同シフト損失を導入し、特徴の一貫性を向上させる。
• 2次元キーポイントの可視性スコアをネットワークに統合する暗黙の注意機構を導入し、奥行きの曖昧さを低減する。
• 2次元キーポイントのヒートマップと3次元関節アノテーションの両方を監視対象として、マルチタスク学習フレームワークでエンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 3次元ポーズ推定を骨の方向と長さの予測に分解することで、動画ベースの人体ポーズ推定における精度と一般化性能が向上するか？
• RQ2 すべての動画フレームにわたるグローバルな時系列コンテキストを効果的に活用することで、時間的に一貫性のある骨の長さ予測が可能になるか？
• RQ3 完全畳み込み型アーキテクチャが、3次元ポーズ推定における時系列ダイナミクスのモデリングに再帰的ユニットの代わりに使用可能か？
• RQ4 2次元キーポイントの可視性スコアを組み込むことで、遮蔽や曖昧なポーズにおける奥行きの曖昧さがどの程度低減されるか？
• RQ5 骨の方向と長さの予測を統一する共同シフト損失が、全体の3次元ポーズ推定精度を向上させるか？

主な発見

• 提案手法は、Human3.6Mデータセットで最先端の性能を達成し、従来手法よりも3次元関節誤差指標で優れている。
• MPI-INF-3DHPデータセットでは、多様なポーズと動作にわたる強力な一般化性能を示し、報告済みの最高スコアを達成した。
• グローバルな動画コンテキストを活用した骨の長さ予測は、特に長時間のシーケンスにおいて安定性と精度を顕著に向上させた。
• 暗黙の注意機構は、自己遮蔽や複雑なポーズにおける奥行きの曖昧さを効果的に低減した。
• 共同シフト損失により、骨の方向と長さの予測の整合性が向上し、最終的な3次元関節回帰性能が改善された。
• 長距離スキップ接続を備えた完全畳み込み型アーキテクチャにより、再帰的ユニットを用いない効率的な推論が可能になり、高い精度を維持した。