[論文レビュー] TightCap: 3D Human Shape Capture with Clothing Tightness

Xin Chen, Anqi Pang+3 more|arXiv (Cornell University)|Apr 4, 2019

3D Shape Modeling and Analysis参考文献 78被引用数 5

ひとこと要約

TightCapは、グローバルなUVテクスチャリングドメインにおける服の締まり具合をモデル化することで、1つの3Dスキャンから詳細な3D人体形状および着衣を再構築するデータ駆動型手法を提示する。強化された統計的テンプレートと段階的なアライメントを用い、ハイブリッド2Dジオメトリ画像を生成することで、多様なポーズと衣料カテゴリにおいて高精度な再構築を実現し、新規のベンチマークデータセット（CTD）を提供する。

ABSTRACT

In this paper, we present TightCap, a data-driven scheme to capture both the human shape and dressed garments accurately with only a single 3D human scan, which enables numerous applications such as virtual try-on, biometrics and body evaluation. To break the severe variations of the human poses and garments, we propose to model the clothing tightness - the displacements from the garments to the human shape implicitly in the global UV texturing domain. To this end, we utilize an enhanced statistical human template and an effective multi-stage alignment scheme to map the 3D scan into a hybrid 2D geometry image. Based on this 2D representation, we propose a novel framework to predicted clothing tightness via a novel tightness formulation, as well as an effective optimization scheme to further reconstruct multi-layer human shape and garments under various clothing categories and human postures. We further propose a new clothing tightness dataset (CTD) of human scans with a large variety of clothing styles, poses and corresponding ground-truth human shapes to stimulate further research. Extensive experiments demonstrate the effectiveness of our TightCap to achieve high-quality human shape and dressed garments reconstruction, as well as the further applications for clothing segmentation, retargeting and animation.

研究の動機と目的

• 大きなポーズ変化や衣料の違いにもかかわらず、1つの3Dスキャンから人体形状および衣類を正確に再構築する課題に対処すること。
• 身体から衣類へのずれとして定義される服の締まり具合を、グローバルなUVパラメータライゼーション領域で暗黙的にモデル化することで、再構築の忠実度を向上させること。
• 3Dスキャンをハイブリッド2Dジオメトリ画像にマッピングするためのマルチステージアライメントフレームワークを開発し、適切な締まり具合の予測と形状再構築を可能にすること。
• 多様な衣料スタイル、ポーズ、および真値の人体形状を備えた、大規模な新規ベンチマークデータセット（CTD）を構築し、今後の研究を支援すること。
• 高品質な再構築を通じて、衣類セグメンテーション、リターゲティング、アニメーションなどの後続応用を可能にすること。

提案手法

• 多様なボディシェイプをよりよく表現できるように統計的人体テンプレートを強化し、アライメントおよび締まり具合モデリングの基準として活用すること。
• 3Dスキャンをハイブリッド2Dジオメトリ画像にマッピングするためのマルチステージアライメント方式を実装し、幾何的およびトポロジカルな詳細を保持すること。
• UVパラメータライゼーションドメインにおいて、身体からの衣類のずれを暗黙的にモデル化する新しい締まり具合定式化を提案すること。
• さまざまな衣料カテゴリおよびポーズ下での、複数層の人体形状および衣類の再構築を可能にする最適化スキームを設計すること。
• 2Dジオメトリ画像表現を活用して、ディープラーニングを用いた衣類の締まり具合の効率的かつ正確な予測を可能にすること。
• 締まり具合予測と最適化を統合したフレームワークを統合し、エンドツーエンドの再構築を実現すること。

実験結果

リサーチクエスチョン

• RQ1 グローバルなUVパラメータライゼーションにおいて、服の締まり具合を効果的にモデリングすることで、1つのスキャンからの3D人体および衣類再構築の精度が向上するか？
• RQ2 提案されたマルチステージアライメントおよびハイブリッド2Dジオメトリ画像表現は、多様なポーズおよび衣料タイプにおいて再構築精度をどのように向上させるか？
• RQ3 新規のCTDデータセットは、締まり具合に配慮した再構築モデルのトレーニングおよび評価をどの程度支援するか？
• RQ4 本フレームワークは、複数の衣料カテゴリおよび複雑なポーズにおいても、微細な幾何的詳細を保持しながら一般化可能か？
• RQ5 衣類セグメンテーション、リターゲティング、アニメーションなどの後続タスクにおいて、本手法はどの程度の性能を示すか？

主な発見

• TightCapは、極端なポーズ変化や衣料の違いに対しても、1つの3Dスキャンから高品質な3D人体形状および着衣の再構築を達成する。
• UVドメインにおける提案された締まり具合定式化は、衣類のずれを明示的にモデル化しないベースライン手法と比較して、再構築精度を顕著に向上させる。
• マルチステージアライメントおよびハイブリッド2Dジオメトリ画像表現は、幾何的詳細を効果的に保持し、頑健な締まり具合予測を可能にする。
• 新規のCTDデータセットは、服の締まり具合および再構築性能の評価に向けた多様で大規模なベンチマークを提供する。
• 本手法は、衣類セグメンテーション、リターゲティング、アニメーションなどの正確な後続応用を可能にし、実用的価値を示す。
• 広範な実験により、最適化スキームが複数層の衣類および複雑な人体形状の再構築において有効であることが検証された。