[論文レビュー] Towards Robust and Expressive Whole-body Human Pose and Shape Estimation

Hui EnPang, Zhongang Cai+5 more|arXiv (Cornell University)|Dec 14, 2023

Human Pose and Action Recognition被引用数 7

ひとこと要約

本稿では、1枚のRGB画像から一貫性があり表現力のある全身のポーズおよびボディ形状推定を実現する新しいフレームワーク、RoboSMPLXを提案する。本フレームワークは、正確な身体部位の局所化を実現するためのロケリゼーションモジュール、データ拡張に対して特徴の頑健性を向上させるためのコントラスト型特徴抽出モジュール、微分可能レンダリングを用いて正確なメッシュ投影を保証するピクセルアライメントモジュールを統合している。本手法は、全身、手、顔、ボディの各ベンチマークにおいて最先端の性能を達成し、MPJPE や PVE といった主要な指標で顕著な改善を示している。

ABSTRACT

Whole-body pose and shape estimation aims to jointly predict different behaviors (e.g., pose, hand gesture, facial expression) of the entire human body from a monocular image. Existing methods often exhibit degraded performance under the complexity of in-the-wild scenarios. We argue that the accuracy and reliability of these models are significantly affected by the quality of the predicted extit{bounding box}, e.g., the scale and alignment of body parts. The natural discrepancy between the ideal bounding box annotations and model detection results is particularly detrimental to the performance of whole-body pose and shape estimation. In this paper, we propose a novel framework to enhance the robustness of whole-body pose and shape estimation. Our framework incorporates three new modules to address the above challenges from three perspectives: extbf{1) Localization Module} enhances the model's awareness of the subject's location and semantics within the image space. extbf{2) Contrastive Feature Extraction Module} encourages the model to be invariant to robust augmentations by incorporating contrastive loss with dedicated positive samples. extbf{3) Pixel Alignment Module} ensures the reprojected mesh from the predicted camera and body model parameters are accurate and pixel-aligned. We perform comprehensive experiments to demonstrate the effectiveness of our proposed framework on body, hands, face and whole-body benchmarks. Codebase is available at \url{https://github.com/robosmplx/robosmplx}.

研究の動機と目的

• 屋外環境下における既存の全身ポーズおよび形状推定手法の低い頑健性、特に信頼性の低い部位クロップ品質に起因する問題を解消すること。
• 特に手や顔など小さく、隠蔽されている部位の局所化を強化することで、モデルの信頼性を向上させること。
• ポーズおよび形状に依存するポジティブサンプルを用いたコントラスト学習により、多様なデータ拡張に対して不変な表現を学習することで、特徴の頑健性を向上させること。
• 微分可能レンダリングを用いて、予測された3次元メッシュと2次元画像との間のピクセルレベルのアライメントを正確に保証すること。
• ポーズ、形状、表情、カメラパラメータを統合的に最適化するフレームワークを構築し、一般化性能および一貫性を向上させること。

提案手法

• ロケリゼーションモジュールは、スパースおよびディンスな予測ブランチを用い、関節位置と部位セグメンテーションマスクを同時に学習することで、画像内での被験者位置と意味的特徴の認識を向上させる。
• コントラスト型特徴抽出モジュールは、ポーズおよび形状に依存するコントラスト損失を適用し、特定のポジティブサンプルを用いて、頑健な拡張処理下でも一貫した特徴表現を促進する。
• ピクセルアライメントモジュールは、微分可能レンダリングを活用してメッシュの投影を精緻に修正し、レンダリングされた2次元頂点と真値の画像特徴との乖離を最小化する。
• これらのモジュールを統合したエンドツーエンドの学習パイプラインを構築し、3次元メッシュ再構成、カメラパラメータ、形状パラメータを同時に最適化する。
• キーポイント、セグメンテーション、投影損失を用いたマルチタスク監視により、幾何的正確性と特徴の一貫性を向上させる。
• 本モデルは、3次元人体ベンチマークを含む多様なデータセットで学習され、グローバル変換（フリップや回転など）を避けることで性能の低下を防ぐ強力なデータ拡張を活用している。

実験結果

リサーチクエスチョン

• RQ1 身体部位の不正確または一貫性のない局所化は、全身ポーズおよび形状推定の性能にどのように影響を与えるか？
• RQ2 ポーズおよび形状に依存するポジティブサンプルを用いたコントラスト学習は、データ拡張下での特徴の頑健性を向上させることができるか？
• RQ3 微分可能レンダリングは、予測された3次元メッシュと2次元画像観測との間のピクセルレベルのアライメントをどの程度向上させるか？
• RQ4 提案されたモジュールは、個別および統合的に、実世界のシナリオにおけるMPJPEおよびPVE誤差の低減にどの程度寄与するか？
• RQ5 現在の全身推定フレームワークは、隠蔽、分布外データ、マルチプレイヤー状況の処理において、どのような限界を有するか？

主な発見

• RoboSMPLX は、全身ベンチマークで最先端の性能を達成し、ベースラインと比較してMPJPEを0.45 mm、PVEを0.31 mm低減した。
• ロケリゼーションモジュール（LF）の導入により、MPJPEが0.31 mm、PVEが0.42 mm低減し、局所化精度の向上が有効であることが示された。
• コントラスト型特徴抽出モジュールにより、MPJPEが0.23 mm、PVEが0.18 mm低減し、拡張処理下での特徴の頑健性が向上した。
• 微分可能レンダリングと投影損失（L_proj）を用いたピクセルアライメントモジュールにより、MPJPEが0.38 mm、PVEが0.45 mm低減し、メッシュと画像のアライメントが向上した。
• 3つのモジュールを統合（LF + コントラスト + L_proj）した場合、全身ベンチマークでMPJPEが7.33 mm、PVEが14.59 mmにまで低減され、最良の性能が達成された。
• アブレーションスタディにより、大規模なスケールおよびジターファクターを有する強力な拡張処理が性能を低下させることを確認し、適切な拡張設計の重要性が浮き彫りになった。