[論文レビュー] PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction

Zerong Zheng, Changyuan Yu+2 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Vision and Imaging被引用数 8

ひとこと要約

PaMIRは、SMPLボディモデルと深層暗黙関数を組み合わせたパrametricモデルに依存する暗黙的表現を提案する。これにより、単一のRGB画像からの高精度で詳細豊かな3次元人体再構築が可能になる。深度の曖昧さに配慮した損失関数とボディリファレンス最適化モジュールを統合することで、不完全なSMPL初期化下でも、困難なポーズや複雑な衣装においても最先端の性能を達成し、キャリブレーションを要しないマルチイメージ設定への一般化性も高い。

ABSTRACT

Modeling 3D humans accurately and robustly from a single image is very challenging, and the key for such an ill-posed problem is the 3D representation of the human models. To overcome the limitations of regular 3D representations, we propose Parametric Model-Conditioned Implicit Representation (PaMIR), which combines the parametric body model with the free-form deep implicit function. In our PaMIR-based reconstruction framework, a novel deep neural network is proposed to regularize the free-form deep implicit function using the semantic features of the parametric model, which improves the generalization ability under the scenarios of challenging poses and various clothing topologies. Moreover, a novel depth-ambiguity-aware training loss is further integrated to resolve depth ambiguities and enable successful surface detail reconstruction with imperfect body reference. Finally, we propose a body reference optimization method to improve the parametric model estimation accuracy and to enhance the consistency between the parametric model and the implicit function. With the PaMIR representation, our framework can be easily extended to multi-image input scenarios without the need of multi-camera calibration and pose synchronization. Experimental results demonstrate that our method achieves state-of-the-art performance for image-based 3D human reconstruction in the cases of challenging poses and clothing types.

研究の動機と目的

• 深度の曖昧さ、自己遮蔽、可変ポーズや衣装による、単一画像からの3次元人体再構築の不適切な定式化を解決すること。
• 純粋にパrametricまたは非パrametricな表現の限界を乗り越えるために、SMPLの事前知識と自由形式の暗黙関数を統合すること。
• 推論時にSMPL推定が不正確な状況下でも、深度の曖昧さを軽減し、ボディリファレンスの整合性を向上させることで一般化性能を向上させること。
• マルチカメラのキャリブレーションやポーズ同期を必要とせず、多様なポーズや衣装タイプにわたって耐障害的かつ詳細な再構築を可能とすること。

提案手法

• パラメトリックなSMPLモデルからの特徴に条件付けられた深層暗黙関数をガイドとして用いることで、自由形式の幾何学的学習を可能にする統合的表現PaMIRを提案する。
• 真の深度が得られない状況下での深度の曖昧さに起因する誤差を低減する、深度の曖昧さに配慮したトレーニング損失を導入する。
• 推論中にSMPL推定を改善するためのボディリファレンス最適化モジュールを採用し、画像観測との整合性を高める。
• 2本のブランチを持つネットワークを用いて画像特徴とSMPLに基づく3次元特徴ボリュームを抽出し、それらを用いて3次元ポイントにおける暗黙関数の値を予測する。
• カメラキャリブレーションや同期されたポーズを必要とせず、複数視点間の特徴統合によりマルチイメージへの拡張を可能にする。
• 高品質な3次元スキャンを用いた教師あり学習により、SMPLテンプレートを超える細部の学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 SMPLボディモデルの推定が不正確な場合、単一のRGB画像からの3次元人体再構築をどのように改善できるか？
• RQ2 パラメトリックモデルに条件付けられた深層暗黙関数は、困難なポーズや衣装に対しても高精度な表面細部の回復を達成できるか、かつ耐障害性を保てるか？
• RQ3 真の深度が得られない状況下で、トレーニング段階で深度の曖昧さをどのように軽減できるか？一般化性能の向上に寄与するか？
• RQ4 ボディリファレンス最適化により、予測されたSMPLモデルと画像観測との整合性はどの程度向上するか？
• RQ5 提案されたフレームワークは、マルチカメラのキャリブレーションやポーズ同期を要せず、マルチイメージ再構築に拡張可能か？

主な発見

• 提案手法は、特に複雑な衣装や困難なポーズを扱う状況において、3次元人体再構築で最先端の性能を達成した。
• ボディリファレンス最適化を施した後、BUFFデータセットでは平均関節位置誤差（MPJPE）が2.65 cmから2.49 cmに、TWINDOMデータセットでは2.85 cmから2.74 cmに低下した。
• 正規分布再投影誤差は、1視点時0.161から4視点時0.135に低下し、マルチビュー統合による幾何的詳細の回復が向上したことが示された。
• 深度の曖昧さに配慮した損失関数により、SMPLリファレンスが不完全な状況下でも表面細部の再構築が成功し、正確な初期化に依存しなくなった。
• マルチイメージ入力に対しても良好な一般化性能を示し、マルチカメラのキャリブレーションやポーズ同期を要せず、一貫性があり詳細な再構築が可能だった。
• 極めて困難なポーズにおいては失敗事例が発生したため、現在のところ非常に複雑なボディ構成の処理には限界があると判明した。