[論文レビュー] Dressing 3D Humans using a Conditional Mesh-VAE-GAN.

Qianli Ma, Siyu Tang+4 more|arXiv (Cornell University)|Jul 31, 2019

3D Shape Modeling and Analysis参考文献 56被引用数 9

ひとこと要約

本論文では、着衣した人の3Dスキャンから学習することで、SMPLボディメッシュ上に多様で現実的な3D衣装を生成する条件付きMesh-VAE-GANを提案する。衣類の種別とポーズを条件として用いることで、新しいポーズにおける多様な衣類の合成が可能となり、全体の形状と局所構造を保持する。これは3Dメッシュ向けの最初の条件付きVAE-GANであり、一般化可能な衣類生成を目的とした最初の直接的3Dメッシュドレッシングモデルである。

ABSTRACT

Three-dimensional human body models are widely used in the analysis of human pose and motion. Existing models, however, are learned from minimally-clothed humans and thus do not capture the complexity of dressed humans in common images and videos. To address this, we learn a generative 3D mesh model of clothing from 3D scans of people with varying pose. Going beyond previous work, our generative model is conditioned on different clothing types, giving the ability to dress different body shapes in a variety of clothing. To do so, we train a conditional Mesh-VAE-GAN on clothing displacements from a 3D SMPL body model. This generative clothing model enables us to sample various types of clothing, in novel poses, on top of SMPL. With a focus on clothing geometry, the model captures both global shape and local structure, effectively extending the SMPL model to add clothing. To our knowledge, this is the first conditional VAE-GAN that works on 3D meshes. For clothing specifically, it is the first such model that directly dresses 3D human body meshes and generalizes to different poses.

研究の動機と目的

• 一般的な画像や動画から現実的な衣類を捉えた3D人体モデルの不足に対処すること。
• 異なるボディシェイプとポーズに一般化可能な、生成的3Dメッシュモデルの衣類を学習すること。
• SMPLメッシュ上にさまざまな衣類種別を合成できる条件付き生成モデルを開発すること。
• ボディシェイプのベース形状からの衣類の変位をモデル化することで、SMPLモデルに現実的で幾何学に配慮した衣類を拡張すること。
• 3Dメッシュデータに特化した最初の条件付きVAE-GANフレームワークを構築し、制御可能で多様な衣類生成を可能にすること。

提案手法

• モデルは、着衣した人の3Dスキャンを用いて、SMPLボディモデルに対する衣類の変位を学習する。
• 条件付きMesh-VAE-GANアーキテクチャを用い、生成器が衣類の種別とポーズに条件付けられた3Dメッシュ変形を学習する。
• VAE部は、衣類幾何の分離された潜在表現を学習し、全体の形状と局所的詳細の両方を捉える。
• GAN部は、生成された衣類メッシュと本物の衣類メッシュを区別するディスクラミネーターと敵対的に訓練することで、リアルさを向上させる。
• モデルはSMPLボディパラメータ（シェイプとポーズ）および衣類カテゴリに条件付けられ、多様でポーズ一般化可能な衣類を生成する。
• フレームワークは、再トレーニングや最適化を経ずに、新しいポーズに適用可能な3Dメッシュ衣類を直接出力する。

実験結果

リサーチクエスチョン

• RQ1 条件付き生成モデルは、さまざまなポーズにおいて多様で現実的な3D衣類をSMPLボディメッシュ上に生成できるか？
• RQ2 VAE-GANフレームワークは、複雑な衣類の幾何構造と構造を3Dメッシュデータに効果的に適応できるか？
• RQ3 衣類の種別とボディポーズに条件付けられることで、未学習のボディシェイプと衣類の組み合わせへの一般化が可能か？
• RQ4 モデルは、全体のフォームと折り目やたるみなどの局所的詳細を両方保持した衣類を生成できるか？
• RQ5 3Dメッシュベースの生成モデリングを用いて、微分可能で制御可能な衣類生成メカニズムをSMPLモデルに拡張できるか？

主な発見

• 提案された条件付きMesh-VAE-GANは、さまざまなポーズと衣類種別において、SMPLボディ上に多様な3D衣類を効果的に生成した。
• モデルは、全体の衣類形状と折り目やしわのような細部構造を捉えており、リアルさが向上した。
• フレームワークは、トレーニング時に見られなかった新しいボディシェイプとポーズにも一般化でき、強力なゼロショット一般化を示した。
• 本モデルは、3Dメッシュデータに特化した最初の条件付きVAE-GANであり、制御可能で分離可能な衣類生成を可能にした。
• アプローチは、再トレーニングや最適化を経ずに、新しいポーズに適用可能な3D人間メッシュに衣類を直接ドレッシング可能であり、効率的な推論を可能にした。
• 本手法は、構造的忠実性を保ちながら、現実的で幾何学に配慮した衣類部品をSMPLモデルに効果的に拡張した。