[論文レビュー] Capturing the motion of every joint: 3D human pose and shape estimation with independent tokens

Sen Yang, Wen Heng+4 more|arXiv (Cornell University)|Mar 1, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、関節回転、ボディーシェイプ、カメラパラメータのための独立したトークンを用いた、モノクローラル3D人体ポーズおよび形状推定のための新しいTransformerベースの手法を提案する。画像特徴量からこれらのトークンを独立して学習し、各関節に特化した時系列Transformerを適用することで、局所的な回転運動の整合性を捉え、3DPWで42.0 mmのPA-MPJPEを達成し、最先端の性能を実現する。

ABSTRACT

In this paper we present a novel method to estimate 3D human pose and shape from monocular videos. This task requires directly recovering pixel-alignment 3D human pose and body shape from monocular images or videos, which is challenging due to its inherent ambiguity. To improve precision, existing methods highly rely on the initialized mean pose and shape as prior estimates and parameter regression with an iterative error feedback manner. In addition, video-based approaches model the overall change over the image-level features to temporally enhance the single-frame feature, but fail to capture the rotational motion at the joint level, and cannot guarantee local temporal consistency. To address these issues, we propose a novel Transformer-based model with a design of independent tokens. First, we introduce three types of tokens independent of the image feature: extit{joint rotation tokens, shape token, and camera token}. By progressively interacting with image features through Transformer layers, these tokens learn to encode the prior knowledge of human 3D joint rotations, body shape, and position information from large-scale data, and are updated to estimate SMPL parameters conditioned on a given image. Second, benefiting from the proposed token-based representation, we further use a temporal model to focus on capturing the rotational temporal information of each joint, which is empirically conducive to preventing large jitters in local parts. Despite being conceptually simple, the proposed method attains superior performances on the 3DPW and Human3.6M datasets. Using ResNet-50 and Transformer architectures, it obtains 42.0 mm error on the PA-MPJPE metric of the challenging 3DPW, outperforming state-of-the-art counterparts by a large margin. Code will be publicly available at https://github.com/yangsenius/INT_HMR_Model

研究の動機と目的

• 単一の画像または動画からのモノクローラル3D人体ポーズおよび形状推定の不適切な定式化を解決すること。
• 平均ポーズ／シェイプ事前分布に依存する反復的回帰に依存する従来手法の限界を克服し、関節レベルの時系列的運動の一貫性を捉えられないこと。
• 画像レベルの特徴量ではなく、個々の関節レベルで回転運動をモデル化することで、局所的な運動のなめらかさを向上させ、ジターリダムを低減すること。
• 大規模データ上で自己教師付き事前学習を用いて、3D関節回転、ボディーシェイプ、カメラパラメータの分離された、画像に依存しない表現を学習すること。

提案手法

• 関節回転トークン、シェイプトークン、カメラトークンという3種類の学習可能で独立したトークンを導入し、画像や視点に依存しないように初期化する。
• 画像特徴量に注目するTransformerエンコーダーを用いて、これらのトークンを段階的に精緻化し、SMPLパラメータのエンドツーエンド推定を可能にする。
• 各関節の回転トークンに対して別個の時系列Transformerを適用し、動画フレーム間で関節固有の回転ダイナミクスをモデル化する。
• 時系列モジュールにおける自己注意機構を活用して、フレーム間の相関関係を学習し、過去および未来の運動パターンを用いて現在のフレーム推定を正則化する。
• 明示的なキネマティック制約や反復的精緻化を用いずに、標準的な3Dキーポointおよびメッシュの監視を用いてエンドツーエンドでモデルを訓練する。
• 効率性を維持しつつ、関節固有の時系列モデリングを可能にするために、関節間で共有された時系列エンコーダーを採用する。

実験結果

リサーチクエスチョン

• RQ1 平均ポーズ初期化に依存せずに、3D人体関節の回転およびボディーシェイプの事前知識を、分離された、画像に依存しないトークンが効果的に学習できるか？
• RQ2 画像レベルではなく関節レベルで時系列ダイナミクスをモデル化することで、動画シーケンスにおける局所的な運動の一貫性が向上し、ポーズジッターが低減するか？
• RQ3 個別に時系列モデリングを行うトークンベースの表現が、回転運動パターンを捉えるために、画像レベルの時系列エンコーダーを上回る性能を発揮できるか？
• RQ4 明示的なSMPL監視がなくても、独立したトークンが現実的で構造的なポーズおよび形状の事前分布をどれほど効果的に学習できるか？

主な発見

• 本モデルは、挑戦的な3DPWベンチマークで42.0 mmのPA-MPJPEを達成し、最先端の手法を大きく上回る性能を示した。
• 関節固有の時系列モデリングにより、歩行の歩行パターンのような周期的運動パターンを効果的に捉えており、時間的に類似した関節状態間で高い注目関連性が観察された。
• 明示的なSMPL制約がなくても、事前学習された関節回転およびシェイプトークンは現実的で非ランダムな配置を学習しており、自己教師付き事前学習による有効な事前知識の学習が示された。
• 明示的に関節レベルで回転運動をモデル化することで、動画シーケンスにおける定量的結果で局所的なポーズジッターが低減された。
• 関節固有の時系列学習方式は、並列的な空間的・時系列的モデリングアプローチを上回り、PA-MPJPEで1 mmの向上を達成した。これは、関節レベルでの時系列モデリングの利点を示している。
• Human3.6Mでも同等の性能を達成した一方で、動画データにおけるロバスト性と時系列的一致性が顕著に向上した。