[論文レビュー] Pose2Pose: 3D Positional Pose-Guided 3D Rotational Pose Prediction for Expressive 3D Human Pose and Mesh Estimation

Gyeongsik Moon, Kyoung Mu Lee|arXiv (Cornell University)|Nov 23, 2020

Human Pose and Action Recognition参考文献 54被引用数 20

ひとこと要約

Pose2Poseは、空間キーポoin位置から関節レベルの特徴を抽出する位置姿勢誘導プーリングを用いて、3次元人体ポーズおよびメッシュ推定を向上させる3次元位置姿勢誘導フレームワークを提案する。エンド・トゥ・エンドで訓練されるため、表現的な3次元ポーズ推定において、従来の1枚画像特徴ベースの手法を顕著に上回る。

ABSTRACT

Previous expressive 3D human pose and mesh estimation methods mostly rely on a single image feature vector to predict 3D rotations of human joints (i.e., 3D rotational pose) from an input image. However, the single image feature vector lacks human joint-level features. To resolve the limitation, we present Pose2Pose, a 3D positional pose-guided 3D rotational pose prediction framework for expressive 3D human pose and mesh estimation. Pose2Pose extracts the joint-level features on the position of human joints (i.e., positional pose) using a positional pose-guided pooling, and the joint-level features are used for the 3D rotational pose prediction. Our Pose2Pose is trained in an end-to-end manner and largely outperforms previous expressive methods. The codes will be publicly available.

研究の動機と目的

• 単一の画像特徴ベクトルに頼る従来手法が関節レベルの空間的情報を欠いているという制限を解決すること。
• 人体関節の空間的位置特徴を組み込むことで、3次元回転ポーズ予測の正確性を向上させること。
• 関節レベルの特徴をエンド・トゥ・エンドでトレーナブルな方法で3次元ポーズ推定に統合するフレームワークを開発すること。
• 関節間の空間的関係をモデル化することで、より表現的で正確な3次元人体メッシュおよびポーズ推定を実現すること。

提案手法

• 人体関節の空間的位置から関節レベルの特徴を抽出するための位置姿勢誘導プーリング機構を導入する。
• 抽出された関節レベルの特徴をコンテキストとして用い、3次元回転ポーズ予測を誘導し、局所化の正確性を向上させる。
• 関節レベルの特徴を用いてメッシュおよび3次元ポーズ推定を同時に最適化するエンド・トゥ・エンドでトレーナブルなネットワークを設計する。
• 人体関節の空間的構造を活用して、標準的な画像レベル埋め込みを上回る特徴表現を向上させる。
• 3次元関節回転予測のレグレッションヘッドに位置姿勢特徴を統合する。
• 3次元ポーズおよびメッシュ再構築の教師あり学習を用いて、モデル全体をエンド・トゥ・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 3次元関節位置から抽出した関節レベルの空間的特徴は、単一の画像特徴ベクトルと比較して、3次元回転ポーズ予測を向上させることができるか？
• RQ2 位置姿勢誘導を組み込むことで、表現的な3次元人体メッシュおよびポーズ推定の正確性はどのように向上するか？
• RQ3 関節レベルの特徴を用いたエンド・トゥ・エンド訓練は、グローバル画像特徴に依存する従来手法をどの程度上回るか？
• RQ4 位置姿勢誘導プーリングは、より良い3次元ポーズ回帰のための人体関節間の空間的関係を効果的に捉えられるか？

主な発見

• Pose2Poseは、従来の表現的な3次元人体ポーズ推定手法と比較して、優れた3次元回転ポーズ予測性能を達成する。
• 位置姿勢誘導プーリングによる関節レベル特徴の統合は、より正確な3次元関節レグレッションをもたらす。
• エンド・トゥ・エンド訓練方式により、より良い特徴学習と向上したメッシュ再構築品質が実現される。
• グローバル画像特徴ベクトルに依存するベースライン手法と比較して、空間的関節レベル表現の価値が明確に示された。
• 関節関係の空間的モデリングが強化されたため、表現的なポーズにおいても優れた汎化性能を示した。