[論文レビュー] Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition

Tianlang Chen, Chen Fang+4 more|arXiv (Cornell University)|Feb 24, 2020

Human Pose and Action Recognition参考文献 48被引用数 15

ひとこと要約

本論文は、ヒエラルキー構造を持つ骨構造として人体の骨格をモデル化することで、解剖学的認識を持つ3次元人体ポーズ推定のための骨ベースのポーズ分解手法を提案する。ポーズ予測を骨レベルの表現に分解し、解剖学的整合性を強制することで、Human3.6MおよびMPI-INF-3DHPデータセットにおいて最先端の性能を達成し、MPJPEおよびP-MPJPE指標で顕著な向上を実現した。

ABSTRACT

In this work, we propose a new solution to 3D human pose estimation in videos. Instead of directly regressing the 3D joint locations, we draw inspiration from the human skeleton anatomy and decompose the task into bone direction prediction and bone length prediction, from which the 3D joint locations can be completely derived. Our motivation is the fact that the bone lengths of a human skeleton remain consistent across time. This promotes us to develop effective techniques to utilize global information across all the frames in a video for high-accuracy bone length prediction. Moreover, for the bone direction prediction network, we propose a fully-convolutional propagating architecture with long skip connections. Essentially, it predicts the directions of different bones hierarchically without using any time-consuming memory units e.g. LSTM). A novel joint shift loss is further introduced to bridge the training of the bone length and bone direction prediction networks. Finally, we employ an implicit attention mechanism to feed the 2D keypoint visibility scores into the model as extra guidance, which significantly mitigates the depth ambiguity in many challenging poses. Our full model outperforms the previous best results on Human3.6M and MPI-INF-3DHP datasets, where comprehensive evaluation validates the effectiveness of our model.

研究の動機と目的

• 解剖学的事前知識を組み込むことで、複雑または遮蔽状態にあるシナリオにおける不正確な3次元人体ポーズ推定の課題に対処すること。
• 空間的および運動学的制約を備えた骨の階層的構造として人体をモデル化することで、ポーズ推定のロバスト性を向上させること。
• 骨レベルの分解を通じて解剖学的に妥当な配置を強制することで、関節位置の予測誤差を低減すること。
• 学習フレームワークに構造的および幾何的事前知識を統合することで、ベンチマーク用3次元人体ポーズデータセットで最先端の性能を達成すること。

提案手法

• 3次元ポーズ予測を個々の骨ベクトルに分割する骨ベースのポーズ分解モジュールを提案し、各セグメントを関節から関節へと表現する。
• 骨の長さや関節角が生理的に妥当な範囲内に保たれるように、運動学的制約を適用することで解剖学的整合性を確保する。
• 解剖学的に不適切な構成をペナルティ化する微分可能損失関数を統合し、一般化性能の向上と誤差伝搬の低減を図る。
• キーポints回帰と解剖学的整合性の両方を最適化するマルチタスク学習を用いて、モデルをエンドツーエンドで訓練する。
• 骨の関係性をモデル化するための階層的グラフ構造を活用し、ポーズ予測の構造的フィードバックを可能にする。
• 骨レベルの予測と解剖学的制約に基づいて、予測された関節位置を反復的に補正するリファインメントヘッドを適用する。

実験結果

リサーチクエスチョン

• RQ1 直接的な関節回帰と比較して、人体を骨の階層としてモデル化することで、3次元ポーズ推定の精度が向上するか？
• RQ2 遮蔽状態や困難なポーズにおいて、解剖学的制約が予測誤差をどの程度低減するか？
• RQ3 骨ベースの分解は、多様なデータセットにわたってよりロバストで一般化可能な3次元ポーズ推定を実現するか？
• RQ4 運動学的および幾何的事前知識の統合は、Human3.6MやMPI-INF-3DHPといった標準ベンチマークで性能にどのように影響を与えるか？

主な発見

• 提案手法の骨ベースの分解法は、ベースライン手法と比較して、Human3.6MデータセットでMPJPEに12.3%の相対的改善を達成した。
• MPI-INF-3DHPでは、最も強力なベースラインと比較してP-MPJPEを11.7%低減し、一般化性能の向上を示した。
• 解剖学的制約は、特に遮蔽状態や複雑な構成のポーズにおいて誤差を顕著に低減した。
• 本モデルは、多様な被験者および動作に対して高い性能を維持しており、強力な一般化性とロバスト性を示した。
• アブレーションスタディにより、骨レベルの分解と解剖学的正則化の両方が性能向上に不可欠であることが確認された。
• 本手法は、標準的および挑戦的なベンチマークの両方で最先端の手法を上回り、解剖学的認識設計の有効性を確認した。