[論文レビュー] Towards 3D Human Shape Recovery Under Clothing.

Xin Chen, Anqi Pang+8 more|arXiv (Cornell University)|Apr 4, 2019

3D Shape Modeling and Analysis参考文献 41被引用数 4

ひとこと要約

TightCapは、グローバルなUVテクスチャリングドメインにおける衣服の締まり具合をモデル化することで、1つの3Dスキャンから詳細な3D人体形状および着衣の形状を再構築するデータ駆動型手法を提案する。強化された統計的テンプレートとマルチステージのアライメントを用いることで、多様なポーズと衣料カテゴリにおいて高精細な再構築を実現し、新規ベンチマークデータセット（CTD）により検証された。

ABSTRACT

In this paper, we present TightCap, a data-driven scheme to capture both the human shape and dressed garments accurately with only a single 3D human scan, which enables numerous applications such as virtual try-on, biometrics and body evaluation. To break the severe variations of the human poses and garments, we propose to model the clothing tightness - the displacements from the garments to the human shape implicitly in the global UV texturing domain. To this end, we utilize an enhanced statistical human template and an effective multi-stage alignment scheme to map the 3D scan into a hybrid 2D geometry image. Based on this 2D representation, we propose a novel framework to predicted clothing tightness via a novel tightness formulation, as well as an effective optimization scheme to further reconstruct multi-layer human shape and garments under various clothing categories and human postures. We further propose a new clothing tightness dataset (CTD) of human scans with a large variety of clothing styles, poses and corresponding ground-truth human shapes to stimulate further research. Extensive experiments demonstrate the effectiveness of our TightCap to achieve high-quality human shape and dressed garments reconstruction, as well as the further applications for clothing segmentation, retargeting and animation.

研究の動機と目的

• 極端なポーズや衣料の変化にさらされても、1つの3Dスキャンから詳細な人体形状および衣類の再構築に挑む課題に対処すること。
• 多様な衣料タイプや姿勢において、身体からのずれとして定義される衣服の締まり具合をモデル化する難しさを克服すること。
• 高品質な3D再構築を可能にする、強力でデータ駆動型のフレームワークを構築すること、特に複数層の衣類と下肢の身体形状を対象とする。
• 多様な人体ポーズ、衣料スタイル、および真値形状を備えた、今後の3D人体再構築研究を支援するための新規ベンチマークデータセット（CTD）を提供すること。

提案手法

• 正確な身体形状推定のための事前知識として、強化された統計的人体テンプレートを活用する。
• 3Dスキャンをハイブリッド2Dジオメトリック画像にマップするためのマルチステージのアライメント方式を実装し、空間的および幾何的忠実性を保持する。
• 身体表面からの衣類のずれを暗黙的にモデル化するため、グローバルなUVテクスチャリングドメインに新しい締まり具合の定式化を導入する。
• 2Dジオメトリック画像表現から衣類の締まり具合を予測する専用のディープラーニングフレームワークを設計する。
• 多様な衣料カテゴリにおいて、複数層の人体形状および衣類の再構築を精緻に修正するための効果的な最適化スキームを適用する。
• エンドツーエンドの学習と最適化を可能にするために、2D表現を活用し、ポーズや衣料の変化に対しても一貫性があり詳細な結果を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの3Dスキャンから、下肢の人体形状と完全な垂れ下がり衣類の幾何学的形状を正確に再構築できるか？
• RQ2 ポーズや衣料タイプが多様な状況において、身体からの空間的ずれとして定義される衣服の締まり具合を効果的にモデル化できるか？
• RQ3 UVベースのグローバルパラメータライゼーションは、3D人体形状および衣類再構築の整合性と正確性をどの程度向上できるか？
• RQ4 既存の手法と比較して、提案手法は異なる衣料カテゴリや人体ポーズにどの程度一般化できるか？
• RQ5 真値形状と衣類構成を備えた、大規模な3Dスキャンデータセットが、このような再構築システムの訓練と評価をどのように改善できるか？

主な発見

• TightCapは、極端なポーズや衣料の変化に対しても、1つの3Dスキャンから人体形状および着衣の両方を高品質に再構築する。
• 提案されたUVベースの締まり具合モデリングは、局所的または頂点ごとの手法と比較して、衣類のずれをより一貫して捉えることで再構築の正確性を顕著に向上させる。
• 本手法は、衣類のセグメンテーション、リターゲティング、アニメーションといった後続の応用においても正確な結果を達成し、実用的価値を示している。
• 新規のCTDデータセットは、多様なポーズ、衣料スタイル、真値形状を備えた包括的なベンチマークを提供し、今後の3D人体再構築研究を支援する。
• 広範な実験により、マルチステージのアライメントおよび最適化パイプラインが、複雑な衣類においても幾何的詳細と構造的一致性を効果的に保持していることが示された。
• 本フレームワークは、既存の手法と比較して、複数層の衣類の再構築において優れた性能を示し、多様なポーズや衣料タイプにおいて解剖学的に妥当な形状を維持している。