[論文レビュー] Learning to Dress 3D People in Generative Clothing

Qianli Ma, Jinlong Yang+5 more|arXiv (Cornell University)|Jul 31, 2019

3D Shape Modeling and Analysis参考文献 99被引用数 11

ひとこと要約

本論文では、SMPL上に確率的で加法的な変位層を学習することで、ポーズ依存のリアルな衣装変形を3次元人体メッシュ上に生成する条件付きMesh-VAE-GAN、CAPEを提案する。この手法により、人体の形状やポーズに応じた多様で微分可能かつ高精細な衣装サンプリングが可能となり、ベースラインのSMPLモデルに比べて画像フィッティング性能と合成データの質が顕著に向上する。

ABSTRACT

Three-dimensional human body models are widely used in the analysis of human pose and motion. Existing models, however, are learned from minimally-clothed 3D scans and thus do not generalize to the complexity of dressed people in common images and videos. Additionally, current models lack the expressive power needed to represent the complex non-linear geometry of pose-dependent clothing shapes. To address this, we learn a generative 3D mesh model of clothed people from 3D scans with varying pose and clothing. Specifically, we train a conditional Mesh-VAE-GAN to learn the clothing deformation from the SMPL body model, making clothing an additional term in SMPL. Our model is conditioned on both pose and clothing type, giving the ability to draw samples of clothing to dress different body shapes in a variety of styles and poses. To preserve wrinkle detail, our Mesh-VAE-GAN extends patchwise discriminators to 3D meshes. Our model, named CAPE, represents global shape and fine local structure, effectively extending the SMPL body model to clothing. To our knowledge, this is the first generative model that directly dresses 3D human body meshes and generalizes to different poses. The model, code and data are available for research purposes at https://cape.is.tue.mpg.de.

研究の動機と目的

• 3次元人体モデルにおいて、現実的で生成的である衣装モデリングの欠如に取り組むこと。現在のモデルは、画像や動画における着衣した人体への一般化に失敗している。
• 現実の衣装が持つ確率的でしわだらけの性質を捉えられない決定論的衣装変形モデルの限界を克服すること。
• 微分可能でパrametricかつ制御可能なモデルを開発し、SMPLを多様な衣類タイプとポーズ依存形状を含むものに拡張すること。
• 合成データ生成、画像ベースのボディフィッティング、アニメーションなどの応用を可能にするために、学習可能な条件付き部品として衣装を統合すること。

提案手法

• グラフベースのメッシュ表現がSMPLのトポロジーを引き継ぎ、各頂点が基礎となる身体からの衣装の変位を表す3次元オフセットベクトルを格納する。
• ポーズと衣類タイプに条件づけられた潜在変数としての衣装をモデル化するため、条件付きMesh-VAE-GANフレームワークを訓練し、多様な衣装形状の確率的サンプリングを可能にする。
• 細かい幾何的詳細（しわなど）を保持するため、パッチごとの3次元メッシュ識別器を導入し、標準的なGANよりも視覚的リアリズムを向上させる。
• メッシュベースの衣装変形を処理および生成するため、グラフ畳み込みネットワーク（GCNs）とメッシュサンプリング層をバックボーンコンponentsとして使用する。
• ポーズ依存の衣装幾何を捉えるために、11名の被験者から得られた4Dスキャンデータセット（80Kフレーム）を用いて訓練を行う。
• 得られたCAPEモデルは完全に微分可能であり、SMPLと互換性があるため、着衣した3次元人体の再ポーズ、再サンプリング、アニメーションが可能である。

実験結果

リサーチクエスチョン

• RQ1 生成的モデルは、しわや複雑な折りたたみを含む、多様でリアルでポーズ依存の衣装変形を3次元人体上に学習して生成できるか？
• RQ2 3次元メッシュベースの生成的モデルは、しわなどの細かい幾何的詳細を保持しながらも、グローバルな形状の一貫性を保てるか？
• RQ3 ポーズと衣類タイプに条件づけられた条件付き潜在変数モデルは、未観測の人体形状やポーズにどの程度一般化できるか？
• RQ4 このような衣装モデルの統合により、標準的なSMPLに比べて、画像ベースの3次元人体再構築の精度が向上するか？

主な発見

• 直接評価において、リアル／フェイク画像比較で35.1% ± 15.7%の人体認識率を達成し、強い視覚的妥当性を示している。
• 画像フィッティングにおいて、SMPLifyに比べて平均頂点誤差を18%削減し、1頂点あたりのMSEを0.0189メートル（SMPLify：0.0223メートル）まで低下させた。
• モデルは未観測の人体形状やポーズに成功裏に一般化し、潜在空間のサンプリングにより、1つの衣類タイプごとに複数の例を含む定性的な結果で示される多様な衣装バリエーションを生成した。
• パッチごとの3次元メッシュ識別器は、特にしわや折りたたみの部分で局所的な幾何的詳細を効果的に強化し、標準的なGANを上回る細部の保持性能を示した。
• CAPEは完全に微分可能であり、画像への着衣付きボディの最適化ベースのフィッティング、および潜在変数またはカテゴリのサンプリングによる再ポーズや再衣装が可能である。
• モデルは既存のSMPLベースのパイプラインと互換性があり、合成データ生成や分析による合成（analysis-by-synthesis）などの応用に即座に統合可能である。