[論文レビュー] Detailed Human Shape Estimation from a Single Image by Hierarchical Mesh Deformation

Hao Zhu, Xinxin Zuo+3 more|arXiv (Cornell University)|Apr 24, 2019

3D Shape Modeling and Analysis参考文献 41被引用数 10

ひとこと要約

本稿では、深層畳み込みニューラルネットワークを用いてパラメトリックなSMPLボディモデルを精緻化することで、単一の画像から詳細な人体形状を回復する階層的メッシュ変形（HMD）フレームワークを提案する。粗い段階から細かい段階への変形戦略を採用し、窓クロップド入力と組み合わせることで、関節、輪郭、光度的特徴を統合し、2D IoUと3Dメトリック精度の両面で最先端の性能を達成した。この手法により、スキンされたモデルを超える現実的で詳細な人体形状が再構築可能である。

ABSTRACT

This paper presents a novel framework to recover detailed human body shapes from a single image. It is a challenging task due to factors such as variations in human shapes, body poses, and viewpoints. Prior methods typically attempt to recover the human body shape using a parametric based template that lacks the surface details. As such the resulting body shape appears to be without clothing. In this paper, we propose a novel learning-based framework that combines the robustness of parametric model with the flexibility of free-form 3D deformation. We use the deep neural networks to refine the 3D shape in a Hierarchical Mesh Deformation (HMD) framework, utilizing the constraints from body joints, silhouettes, and per-pixel shading information. We are able to restore detailed human body shapes beyond skinned models. Experiments demonstrate that our method has outperformed previous state-of-the-art approaches, achieving better accuracy in terms of both 2D IoU number and 3D metric distance. The code is available in https://github.com/zhuhao-nju/hmd.git

研究の動機と目的

• パラメトリックモデル（例：SMPL）の限界、特に表面の詳細が欠落しており、衣類や微細な幾何形状を表現できない点を是正すること。
• ボリュメトリック予測手法の粗い解像度が、高周波数の形状詳細を回復できない点を克服すること。
• パラメトリックモデルのロバスト性と自由形式3次元変形の柔軟性を統合した学習ベースの手法を開発すること。
• さまざまなポーズ、体型、視点下において、単一画像からの正確で詳細な3次元人体形状再構築を可能にすること。
• 粗い段階から細かい段階への階層的変形戦略と局所化された画像入力を用いることで、一般化性能と精度を向上させること。

提案手法

• 本手法は、プロジェクト予測変形パイプラインに従う：3次元メッシュを2次元に投影し、画像と投影されたメッシュを深層ネットワークに供給し、頂点の変位を予測してメッシュを変形する。
• 階層的メッシュ変形フレームワークは3段階のレベル（関節レベル、アンカー（固定点）レベル、頂点レベル）で動作し、局所的およびグローバルな形状精緻化を可能にする。
• ネットワークは、2次元投影誤差、輪郭IoU、およびピixeL単位の照 shade 一貫性に基づく損失関数を用いて学習される。
• 全体画像ではなく窓クロップド画像入力を用いることで、局所化精度を向上させ、背景ノイズを低減し、予測精度を向上させる。
• 各レベルで関節、輪郭、光度的制約を統合し、構造的妥当性を保持したまま変形をガイドする。
• 初期のSMPLメッシュを粗い段階から細かい段階への反復的変形により段階的に精緻化し、段階を経るごとに詳細な監視信号を用いて形状を改善する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの手法が、パラメトリックモデルのロバスト性と自由形式変形の柔軟性を統合することで、単一画像からの3次元人体形状再構築を向上させられるか？
• RQ2 窓クロップド画像入力と全体画像入力の間で、変形精度とモデル効率にどのような差が生じるか？
• RQ3 関節、輪郭、光度的特徴を併用することで、標準的なパラメトリックモデルを超える形状の詳細回復がどの程度可能か？
• RQ4 本手法は、制約のない実世界の画像（例：WILDデータセット）に対しても、高精度・高忠実度を維持したまま一般化可能か？
• RQ5 階層的変形戦略は、エンドツーエンドまたは非階層的アプローチと比較して、3次元および2次元再構築メトリクスにおいてどのような差を示すか？

主な発見

• 提案されたHMD手法は、2D IoUと3Dメトリック距離の両面で最先端の手法を上回り、評価されたすべてのデータセットで最高の輪郭IoUと最小の関節誤差を達成した。
• 窓クロップド入力を用いることで、全体画像入力と比較して輪郭IoUが12.3%向上し、関節誤差が15.7%低減したが、モデルサイズは41%にまで縮小された。
• 関節とアンカー（固定点）レベルの両方の変形を組み合わせた場合が最良の性能を示し、単一の特徴のみを用いた場合と比較して輪郭IoUが7.8%向上した。
• 輪郭を追加の入力として与えた場合、さらに優れた結果が得られ、マルチ監視による形状回復の有効性が裏付けられた。
• RECONデータセットでは、HMDが3D誤差14.2 mmを達成し、BodyNet（16.5 mm）とHMR（18.1 mm）を上回った。特に、隠蔽された肢の再構築において優れた性能を示した。
• 視覚合成の結果から、HMDが生成するテクスチャ付きメッシュは入力画像と非常に類似しており、拡張されたフォアグラウンドマスクを用いることで、テクスチャの一貫性と縁の詳細が向上した。