[論文レビュー] Learning 3D Human Shape and Pose from Dense Body Parts

Hongwen Zhang, Jie Cao+3 more|arXiv (Cornell University)|Dec 31, 2019

Human Pose and Action Recognition被引用数 8

ひとこと要約

本稿では、1枚の画像から3次元人体形状およびポーズ推定を向上させるために、密集したボディパーツ対応を活用する分解・集約ネットワーク、DaNetを提案する。局所的およびグローバルなストリームを用い、位置情報を利用した回転リファイニングとPartDrop正則化を組み合わせることで、Human3.6M、UP3D、COCO、3DPWの複数のベンチマークで最先端の性能を達成し、ポーズドリフトを顕著に低減するとともに再構成精度を向上させた。

ABSTRACT

Reconstructing 3D human shape and pose from monocular images is challenging despite the promising results achieved by the most recent learning-based methods. The commonly occurred misalignment comes from the facts that the mapping from images to the model space is highly non-linear and the rotation-based pose representation of body models is prone to result in the drift of joint positions. In this work, we investigate learning 3D human shape and pose from dense correspondences of body parts and propose a Decompose-and-aggregate Network (DaNet) to address these issues. DaNet adopts the dense correspondence maps, which densely build a bridge between 2D pixels and 3D vertices, as intermediate representations to facilitate the learning of 2D-to-3D mapping. The prediction modules of DaNet are decomposed into one global stream and multiple local streams to enable global and fine-grained perceptions for the shape and pose predictions, respectively. Messages from local streams are further aggregated to enhance the robust prediction of the rotation-based poses, where a position-aided rotation feature refinement strategy is proposed to exploit spatial relationships between body joints. Moreover, a Part-based Dropout (PartDrop) strategy is introduced to drop out dense information from intermediate representations during training, encouraging the network to focus on more complementary body parts as well as neighboring position features. The efficacy of the proposed method is validated on both indoor and real-world datasets including Human3.6M, UP3D, COCO, and 3DPW, showing that our method could significantly improve the reconstruction performance in comparison with previous state-of-the-art methods. Our code is publicly available at https://hongwenzhang.github.io/dense2mesh .

研究の動機と目的

• 単眼3次元人体再構成における非線形な2Dから3Dへのマッピングとポーズドリフトの課題に対処すること。
• 2次元画像と3次元メッシュ頂点間の密集した対応マップを活用して、3次元人体形状およびポーズ推定を向上させること。
• 分解されたグローバルおよびローカルの認識ストリームを通じて予測のロバスト性を向上させること。
• 空間的に注意を向けた特徴リファイニングを用いて、回転に基づくポーズドリフトを低減すること。
• PartDropを用いて、補完的なボディパーツに注目を向けるよう促すことで一般化性能を向上させること。

提案手法

• ネットワークは、2次元ピixelと3次元メッシュ頂点を橋渡しする中間表現として、密集した対応マップを用いる。
• 1つのグローバルストリームと複数のローカルストリームを備えたデュアルストリームアーキテクチャを採用し、形状とポーズの同時予測を実現する。
• ローカルストリームの特徴は、ポーズ精度を向上させるために、位置情報を利用した回転特徴リファイニングモジュールを用いて集約される。
• トレーニング中に密集した特徴をランダムにマスクするPart-based Dropout（PartDrop）戦略を採用し、欠損または曇りのあるボディパーツに対するロバスト性を向上させる。
• 3次元メッシュ頂点および関節位置に監視信号を用いて、マルチビューおよび単一画像データセット上でエンドツーエンドにモデルを訓練する。
• 本手法は、関節位置のドリフトを最小限に抑えるために、回転に基づくボディモデル表現を用い、リファイニングを施す。

実験結果

リサーチクエスチョン

• RQ1 密集した対応マップは、1枚の画像からの3次元人体形状およびポーズ推定の正確性とロバスト性を向上させることができるか？
• RQ2 予測をグローバルおよびローカルのストリームに分解することで、3次元再構成における性能にどのような影響を与えるか？
• RQ3 位置情報を利用した特徴リファイニングは、回転に基づくポーズ表現におけるドリフトを低減できるか？
• RQ4 PartDropは、補完的なボディパーツに注目を向けるよう促すことで、一般化性能を向上させることができるか？
• RQ5 提案手法は、多様なベンチマークで、最先端の手法をどの程度上回るか？

主な発見

• DaNetは、Human3.6Mで最先端の性能を達成し、前回の最先端手法比でMPJPEが3.2 mm改善された。
• 3DPWデータセットでは、MPJPEが58.7 mmまで低下し、先行手法を顕著に上回った。
• PartDrop戦略により、特にオクルージョンを伴う困難な実世界画像において一般化性能が向上した。
• 位置情報を利用した回転リファイニングにより、複雑なポーズにおける関節位置のドリフトが顕著に低減された。
• モデルは屋内および実世界のデータセット、COCOおよびUP3Dにおいても良好な一般化性能を示した。
• 部分的オクルージョンや低品質な入力画像に対しても、優れたロバスト性を示した。