[論文レビュー] PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop

Hongwen Zhang, Yating Tian+5 more|arXiv (Cornell University)|Mar 30, 2021

Human Pose and Action Recognition参考文献 73被引用数 11

ひとこと要約

PyMAF は、特徴ピラミッドからのマルチスケールでメッシュに整合した特徴を用いて、繰り返し予測パラメータを精緻化することで、画像とのメッシュ整合性を向上させるピラミッド型メッシュ整合フィードバックループを提案する。ピクセル単位の補助的監視により特徴の信頼性を向上させ、Human3.6M、3DPW、LSP、COCOベンチマークで最先端の性能を達成し、MPJPE および PA-MPJPE スコアが向上した。

ABSTRACT

Regression-based methods have recently shown promising results in reconstructing human meshes from monocular images. By directly mapping raw pixels to model parameters, these methods can produce parametric models in a feed-forward manner via neural networks. However, minor deviation in parameters may lead to noticeable misalignment between the estimated meshes and image evidences. To address this issue, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status in our deep regressor. In PyMAF, given the currently predicted parameters, mesh-aligned evidences will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To reduce noise and enhance the reliability of these evidences, an auxiliary pixel-wise supervision is imposed on the feature encoder, which provides mesh-image correspondence guidance for our network to preserve the most related information in spatial features. The efficacy of our approach is validated on several benchmarks, including Human3.6M, 3DPW, LSP, and COCO, where experimental results show that our approach consistently improves the mesh-image alignment of the reconstruction. The project page with code and video results can be found at https://hongwenzhang.github.io/pymaf.

研究の動機と目的

• 回帰ベースの3次元人体メッシュ再構成において、小さなパラメータ誤差が顕著な関節ずれを引き起こすメッシュ-画像不整合問題に対処すること。
• メッシュ-画像対応関係のガイダンスを組み込むことで、パrameter精緻化に用いる空間的特徴の信頼性と関連性を向上させること。
• 異なる解像度レベルからの特徴を活用するフィードバックループを用いて、段階的かつマルチスケールにパラメトリックメッシュパラメータを補正すること。
• 反復的誤差フィードバックに依存するのを減らすために、視覚的証拠に基づいて明示的にずれを是正するメッシュ整合性に配慮したフィードバック機構に置き換えること。

提案手法

• ピラミッド型メッシュ整合フィードバックループを導入し、現在のメッシュ推定の2次元投影に基づいて、マルチスケールの特徴マップからメッシュに整合した特徴を抽出する。
• フィードバックループは、これらの特徴を用いて繰り返し予測メッシュパラメータを精緻化し、画像証拠との整合性を段階的に向上させる。
• 最高解像度の特徴マップにピクセル単位の補助的監視タスクを課し、密な対応関係を予測させ、エンコーダーがメッシュ-画像整合性情報を保持するように誘導する。
• 投影されたメッシュ頂点をサンプリングポイントとして用い、メッシュに整合した特徴を抽出することで、空間的特徴が画像レベルの手がかりと整合するように保証する。
• 標準的なメッシュ回帰損失と補助的な密な対応関係損失の二重監視により、ネットワークをエンドツーエンドで訓練する。これにより特徴品質が向上する。
• フィードバックの初期特徴はグリッドポイントから抽出されるか、平均ポーズメッシュの投影から抽出されるが、両者とも有効な精緻化を支援することが示された。

実験結果

リサーチクエスチョン

• RQ1 特徴ピラミッドからのメッシュに整合した特徴を用いるフィードバック機構が、回帰ベースの3次元人体メッシュ再構成におけるメッシュ-画像整合性を向上させることができるか？
• RQ2 密な対応関係に対する補助的ピクセル単位の監視が、パrameter補正に用いる空間的特徴の信頼性を向上させるか？
• RQ3 提案された PyMAF フィードバックループは、標準的な反復的誤差フィードバックと比較して、収束性および整合性品質の点で優れているか？
• RQ4 マルチスケール特徴の活用が、キネマティックチェーンにおけるパラメトリックドリフトの補正にどの程度寄与するか？

主な発見

• PyMAF は、密な対応関係監視と特徴ベースの入力を用いた場合、Human3.6M、3DPW、LSP、COCOベンチマークで最先端の性能を達成し、MPJPE 75.1 mm、PA-MPJPE 48.9 mm を達成した。
• 補助的な密な対応関係監視により、補助監視なしの場合（76.8 mm → 75.1 mm）にMPJPEが1.7 mm 減少し、特徴品質の向上が有効であることが示された。
• 特徴マップからのピクセル単位の特徴抽出を用いる方が、補助予測（例：部位セグメンテーション）を用いる場合よりも優れた性能を示し、MPJPE が108.1 mm から 75.1 mm に低下した。
• フィードバックループは、平均ポーズメッシュから初期化された場合でも、4イテレーションでMPJPEを274.0 mm から 75.1 mm まで顕著に低下させ、整合性の向上が確認された。
• アブレーションスタディにより、低解像度特徴からのメッシュに整合した特徴抽出が大規模補正を可能にし、高解像度特徴が微細な精緻化を提供することが確認された。