[論文レビュー] ISP: Multi-Layered Garment Draping with Implicit Sewing Patterns

Ren Li, Benoît Guillard+1 more|arXiv (Cornell University)|May 23, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

本論文は、2次元符号付き距離関数（SDF）と2次元から3次元へのマッピングを用いた、パラメトリックなガーリック表現である暗黙の縫い目パターン（ISP）を提案する。これにより、任意のポーズの人体上での複数層構造の衣類の微分可能で高精度なシワ寄せが可能になる。本手法は、画像からの複数層構造の衣類の回復において最先端の結果を達成し、2次元パネルの変更によって直感的な形状・テクスチャ編集を可能にする。

ABSTRACT

Many approaches to draping individual garments on human body models are realistic, fast, and yield outputs that are differentiable with respect to the body shape on which they are draped. However, they are either unable to handle multi-layered clothing, which is prevalent in everyday dress, or restricted to bodies in T-pose. In this paper, we introduce a parametric garment representation model that addresses these limitations. As in models used by clothing designers, each garment consists of individual 2D panels. Their 2D shape is defined by a Signed Distance Function and 3D shape by a 2D to 3D mapping. The 2D parameterization enables easy detection of potential collisions and the 3D parameterization handles complex shapes effectively. We show that this combination is faster and yields higher quality reconstructions than purely implicit surface representations, and makes the recovery of layered garments from images possible thanks to its differentiability. Furthermore, it supports rapid editing of garment shapes and texture by modifying individual 2D panels.

研究の動機と目的

• 多様なボディポーズにおける複数層構造の衣類のための微分可能で現実的なシワ寄せ手法の不足を解消すること。
• 2次元画像マスクからのエンドツーエンドの微分可能なレイヤードガーメント再構成を可能にすること。
• 2次元パネルの操作によって直感的でパラメトリックなガーメント形状・テクスチャ編集を可能にすること。
• 複雑なレイヤー構造や衝突処理を扱う際の、従来の暗黙的またはメッシュベースの表現の限界を克服すること。
• ファッションデザインの実務にインspiredされたスケーラブルでパラメトリックなガーメント表現の開発

提案手法

• 潜在ベクトル 𝐳 に条件付けられた学習可能な符号付き距離関数（SDF）によって定義される2次元パネルの集合としてガーメントを表現する。
• 各2次元パネルを、潜在ベクトル 𝐳 に条件付けられた2次元から3次元へのマッピングにより3次元表面に写像し、3次元形状の予測を可能にする。
• 微分可能なレンダラとIoU損失を用いて、2次元セグメンテーションマスクからの複数層構造のガーメント回復のための潜在コード 𝐳 を最適化する。
• 2次元パネル空間における衝突に配慮した損失を用いて、シワ寄せ中に透過を防ぐ。
• 外側から内側へ順次最適化することで、現実的なレイヤー構造を保証する。
• 2次元パラメータ空間における予測されたパネル縁と所望の縁との間のチャムファーディスタンスを最小化することで、形状編集を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で暗黙的なガーメント表現は、多様なボディポーズにおける現実的な複数層構造のシワ寄せを可能にするか？
• RQ2 暗黙の縫い目パターンは、1枚の画像からの2次元マスクから高精度なレイヤードガーメントの再構成を可能にするか？
• RQ3 SDFを用いた2次元パネルの操作によって、直感的でパラメトリックなガーメント形状・テクスチャ編集が可能になるか？
• RQ4 本手法は、従来の暗黙的またはメッシュベースのアプローチに比べ、再構成の忠実度と衝突回避の両面で優れているか？
• RQ5 本モデルは、トレーニング時に正立Tポーズのデータしか使っていないにもかかわらず、推論時に任意のボディポーズに一般化できるか？

主な発見

• ユーザー研究において、本手法はベースラインと比較して62.69％のユーザー選好を達成し、DrapeNet（25.00％）を著しく上回り、視覚的忠実度が優れていることを示した。
• IoU損失に基づく最適化により、再構成における交差比が低く抑えられ、マスクの整合性が向上し、重複誤差が減少した。
• 再構成されたガーメントは、複雑な複数層構造でさえも、身体や層間の透過を示さなかった。
• 本手法は、2次元セグメンテーションマスクから完全な複数層構造の衣装を回復でき、SMPLicit、ClothWild、DrapeNetを上回った。
• SDFを用いた2次元パネル境界の直接操作により、スリーブの短縮や開口部の閉じるなどの直感的な変更が可能になった。
• 従来の暗黙的アプローチが補助分類器を必要とするのに対し、本手法はUVパネルへの描画により微分可能なテクスチャ編集をサポートする。