[論文レビュー] Detailed Garment Recovery from a Single-View Image

Shan Yang, Tanya Ambert+5 more|arXiv (Cornell University)|Aug 3, 2016

3D Shape Modeling and Analysis参考文献 61被引用数 41

ひとこと要約

本稿では、統計的・幾何的・物理的事前知識を組み合わせることで、1枚の2D画像から詳細な3D衣類モデル（細かなしわ、折りたたみ、素材特性を含む）を回復する手法を提案する。ボディシェイプの再構築、衣類テンプレートの変形、物理ベースの布地シミュレーションを統合することで、最小限のユーザー入力で高精細なバーチャルトライアルおよびアニメーションを実現し、単一視点の制約にもかかわらず視覚的に妥当な結果を達成する。

ABSTRACT

Most recent garment capturing techniques rely on acquiring multiple views of clothing, which may not always be readily available, especially in the case of pre-existing photographs from the web. As an alternative, we pro- pose a method that is able to compute a rich and realistic 3D model of a human body and its outfits from a single photograph with little human in- teraction. Our algorithm is not only able to capture the global shape and geometry of the clothing, it can also extract small but important details of cloth, such as occluded wrinkles and folds. Unlike previous methods using full 3D information (i.e. depth, multi-view images, or sampled 3D geom- etry), our approach achieves detailed garment recovery from a single-view image by using statistical, geometric, and physical priors and a combina- tion of parameter estimation, semantic parsing, shape recovery, and physics- based cloth simulation. We demonstrate the effectiveness of our algorithm by re-purposing the reconstructed garments for virtual try-on and garment transfer applications, as well as cloth animation for digital characters.

研究の動機と目的

• 複数視点や3Dスキャンの要件を回避するため、単一視点の画像からの詳細な3D衣類回復を可能にすること。
• 視認できないしわや折りたたみを含む、リアルな布地外観に不可欠な微細な幾何的詳細をモデル化すること。
• 影や折りたたみの画像特徴から素材パラメーターやデザインパターンを推定し、正確なバーチャルトライアルを可能にすること。
• 異なるボディシェイプやポーズに再ターゲティング可能にするため、回復された衣類を幅広いデジタルキャラクターアニメーション用途に応用すること。
• 専門家の入力や3Dスキャンに依存することを減らすために、統計的ボディモデルと衣類テンプレートを活用すること。

提案手法

• 裸体のデータセットから導出された統計的ヒューマンボディモデルを用い、14個の関節アノテーションとシルエットスケッチからボディシェイプとポーズを推定する。
• 衣類テンプレートデータベースを活用して衣類の基本形状を特定し、一般的な衣類タイプの可変パラメータライズド化を可能にする。
• 意味的パースリングと特徴推定を用いて、入力画像から衣類の境界、パターン、重要な構造的要素を検出する。
• 物理ベースの布地シミュレーションを用いて物理的に妥当な変形を強制し、画像に見えないしわや折りたたみの回復をガイドする。
• 画像ベースの制約とシミュレートされた物理的挙動を組み合わせて、素材パラメーターやポーズ、シェイプを同時に最適化する。
• パラメータ推定とシェイプ回復パイプラインを統合し、視覚的妥当性と画像整合性が達成されるまで反復的に3D衣類モデルを精錬する。

実験結果

リサーチクエスチョン

• RQ1 複数視点や深度情報がなくとも、1枚の2D画像からしわや折りたたみといった微細な幾何的詳細を有する3D衣類モデルを正確に回復できるか？
• RQ2 直接測定ができない状況下で、折りたたみや影といった画像特徴から衣類の素材特性をどのように推定できるか？
• RQ3 3D入力が欠如している状況下で、物理ベースの布地シミュレーションが回復された衣類ジオメトリの妥当性をどの程度向上できるか？
• RQ4 回復された衣類が、バーチャルトライアルやアニメーション用途において、異なるボディシェイプやポーズにどの程度適応可能か？
• RQ5 テンプレートベースの変形手法は、多層スカートや構造的カラーといった複雑な衣類変異をどの程度正確に捉えることができるか？

主な発見

• 物理シミュレーションと画像ベースの事前知識を統合することで、視認できないしわや折りたたみを含む視覚的に妥当な3D衣類回復が達成された。
• 平均して、パイプライン全体の処理時間は1着あたり4〜6時間であり、そのうち60〜80％が衣類パラメータ特定とマテリアル-ポーズ同時最適化に費やされている。
• しわや折りたたみの存在に基づき、素材の剛性とドレープ性を示す強力な視覚的手がかりとして、素材パラメータが成功裏に推定された。
• 回復された衣類は、異なるボディシェイプやポーズに再ターゲティング可能であり、バーチャルトライアルやアニメーション応用が可能である。
• 本手法は、衣類テンプレートデータベースの可用性と形状の柔軟性に制限を受けており、特に複雑または非標準的なデザインでは限界が顕在する。
• 3Dヒューマンポーズ推定に失敗した場合には手動での干渉が必要であり、現在の最先端のポーズ回復手法に依存していることが示された。