[論文レビュー] DeepWrinkles: Accurate and Realistic Clothing Modeling

Zorah Laehner, Daniel Cremers+1 more|arXiv (Cornell University)|Aug 10, 2018

3D Shape Modeling and Analysis参考文献 46被引用数 42

ひとこと要約

データ駆動のフレームワークで、サブスペースベースのグローバルな布の変形モデルと、時系列整合性を持つ cGAN が正規マップに高周波のシワを付加して、現実的な衣服アニメーションを実現します。

ABSTRACT

We present a novel method to generate accurate and realistic clothing deformation from real data capture. Previous methods for realistic cloth modeling mainly rely on intensive computation of physics-based simulation (with numerous heuristic parameters), while models reconstructed from visual observations typically suffer from lack of geometric details. Here, we propose an original framework consisting of two modules that work jointly to represent global shape deformation as well as surface details with high fidelity. Global shape deformations are recovered from a subspace model learned from 3D data of clothed people in motion, while high frequency details are added to normal maps created using a conditional Generative Adversarial Network whose architecture is designed to enforce realism and temporal consistency. This leads to unprecedented high-quality rendering of clothing deformation sequences, where fine wrinkles from (real) high resolution observations can be recovered. In addition, as the model is learned independently from body shape and pose, the framework is suitable for applications that require retargeting (e.g., body animation). Our experiments show original high quality results with a flexible model. We claim an entirely data-driven approach to realistic cloth wrinkle generation is possible.

研究の動機と目的

• アニメーション、AR/VR、バーチャル試着のための現実的な衣服再構成を促進する。
• 体形/姿勢と衣服の皺を分離する、完全にデータ駆動のパイプラインを開発する。
• 実世界の4Dスキャンから高周波の衣服ディテールを捉え、効率的にレンダリングする。
• 異なる体形や姿勢間で衣服のリターゲティングを可能にする。

提案手法

• ポーズと体形の正規化を行い、4Dスキャンデータから衣服変形の線形サブスペースモデルを学習する。
• 衣服テンプレートを4Dスキャンに登録し、平均形状と頂点オフセットを構築する。PCAを用いて低次元表現を得る。
• ジョイント姿勢をサブスペース係数へ写像する姿勢-to-形状回帰（および自己回帰RNN）を訓練して、リターゲティングを行う。
• 低解像度の法線を条件として高解像度の法線を生成するため、法線マップ上で条件付きGANを訓練して微細な表面ディテールを生成する。
• 法線マップのフレーム間遷移を滑らかにするため、専用の損失項を導入して時系列整合性を課す。
• 強化された法線マップを用いて、リアルタイムのグラフィックスパイプラインで現実的なシワディテールをレンダリングする。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型サブスペースモデルは、リターゲティングのために体形や姿勢を除外しつつ、グローバルな衣服の変形を正確に捉えることができるか。
• RQ2 法線マップ上のニューラルネットワークは、高解像度スキャンから回収された高周波で時間的一貫性のあるシワを追加できるか。
• RQ3 入力法線マップの品質と時系列損失が、リターゲットされた衣服の現実感と安定性に与える影響は何か。
• RQ4 新しい体形や未観測の姿勢へのリターゲティングの一般化性能はどの程度か。

主な発見

• 実データの4Dから学習した線形サブスペースモデルは、姿勢と形状で正規化された座標で衣服の変形を表現できる。
• 法線マップ上で動作するcGANは、低解像度のテンプレートでは捉えられない細かなシワを回復し、高忠実なレンダリングを実現する。
• 時系列整合性損失を取り入れると、アニメーションシーケンスのフレーム間の安定性と現実感が向上する。
• 新しい体形や姿勢へのリターゲティングは実現可能で、異なるキャラクター間でも詳細を保持した衣服をレンダリングできる。
• 物理ベースのシミュレーションや純粋なサブスペース手法と比較して、DeepWrinklesはデータ駆動アプローチと適度なストレージでより高いディテール忠実度を達成する。