[論文レビュー] Structure-Preserving 3D Garment Modeling with Neural Sewing Machines

Xipeng Chen, Guangrun Wang+4 more|arXiv (Cornell University)|Nov 12, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本論文は、ステッチパターンを構造的事前知識として活用することで、構造を保存する3次元衣類モデリングを実現するニューラルセッティングマシン（NSM）を提案する。NSMは、多様な衣類トポロジーを統一された埋め込みに符号化し、マスク付きのUV位置マップを介して3次元形状に復元する。さらに、内部パネル、パネル間、表面法線の損失を用いて構造的整合性を強制し、さまざまな衣類カテゴリーやトポロジーにおいて、3次元再構成および制御可能な操作の分野で最先端の性能を達成する。

ABSTRACT

3D Garment modeling is a critical and challenging topic in the area of computer vision and graphics, with increasing attention focused on garment representation learning, garment reconstruction, and controllable garment manipulation, whereas existing methods were constrained to model garments under specific categories or with relatively simple topologies. In this paper, we propose a novel Neural Sewing Machine (NSM), a learning-based framework for structure-preserving 3D garment modeling, which is capable of learning representations for garments with diverse shapes and topologies and is successfully applied to 3D garment reconstruction and controllable manipulation. To model generic garments, we first obtain sewing pattern embedding via a unified sewing pattern encoding module, as the sewing pattern can accurately describe the intrinsic structure and the topology of the 3D garment. Then we use a 3D garment decoder to decode the sewing pattern embedding into a 3D garment using the UV-position maps with masks. To preserve the intrinsic structure of the predicted 3D garment, we introduce an inner-panel structure-preserving loss, an inter-panel structure-preserving loss, and a surface-normal loss in the learning process of our framework. We evaluate NSM on the public 3D garment dataset with sewing patterns with diverse garment shapes and categories. Extensive experiments demonstrate that the proposed NSM is capable of representing 3D garments under diverse garment shapes and topologies, realistically reconstructing 3D garments from 2D images with the preserved structure, and accurately manipulating the 3D garment categories, shapes, and topologies, outperforming the state-of-the-art methods by a clear margin.

研究の動機と目的

• 既存の3次元衣類モデリング手法が特定のカテゴリーや単純なトポロジーに限定されているという限界に対処すること。
• 学習可能で構造に敏感なフレームワークを用いて、多様な形状とトポロジーを持つ一般的な3次元衣類モデリングを可能にすること。
• 内在的な幾何学的およびトポロジカル構造を明示的にモデル化することで、3次元衣類再構成および制御可能な操作を向上させること。
• 深層モデルが3次元衣類生成時にシームやパネルレベルの構造を保存できないという失敗を克服すること。

提案手法

• 統一されたステッチパターン符号化モジュールは、主成分分析（PCA）に基づくパラメトリック符号化を用いて、2次元衣類パネルから埋め込みを抽出し、多様なカテゴリーやトポロジーに対応する。
• 3次元衣類デコーダは、埋め込みからマスク付きのUV位置マップを用いて3次元形状を再構成し、逆PCAと畳み込みニューラルネットワーク（CNN）を用いて空間マッピングを実現する。
• 内部パネル構造保存損失は、各パネル内の歪みを最小化することで、2次元パネルと3次元表面間の局所等長性を保証する。
• パネル間構造保存損失は、シームの一貫性を維持することで、隣接するパネル間の正しいトポロジカル関係を保つ。
• 表面法線損失は、予測された表面法線を実際の法線と一致させることで、幾何的整合性を強制する。
• 本フレームワークは再構成損失と構造保存損失を同時に最適化することで、現実的でトポロジカルに正確な3次元衣類を生成する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのフレームワークは、固定テンプレートやボディ固有の仮定に依存せずに、多様な3次元衣類カテゴリーやトポロジーに一般化可能だろうか？
• RQ2 深層学習を用いて、内在的な幾何学的およびトポロジカル構造を明示的に保存するにはどうすればよいか？
• RQ3 構造保存損失は、標準的な再構成指標を上回る3次元衣類再構成品質をどの程度向上させるのか？
• RQ4 2次元パネルの操作によって、衣類カテゴリーや形状、トポロジーの制御可能な編集が可能になるだろうか？
• RQ5 推論時に未学習の衣類カテゴリに一般化可能だろうか？

主な発見

• 完全なNSMモデルは平均測地線長誤差（MGLE）が3.54 cmを達成し、再構成のみのベースラインと比較して1.84 cmの顕著な改善を示した。
• アブレーションスタディの結果、パネル間損失を追加することでMGLEが4.69 cmから3.62 cmに低下し、表面法線損失を追加することでさらに3.54 cmにまで低下した。これにより、構造認識損失の必要性が裏付けられた。
• Chamfer距離とP2S指標だけでは構造的品質を反映できない。これらはトポロジー誤差を捉えていないため、MGLEの方が構造的整合性の指標としてより信頼できる。
• 本モデルは、トレーニング時に見られなかった複雑なトポロジーを持つ衣類でさえ、1枚の画像からも3次元衣類を再構成し、内在構造を保存するのに成功した。
• 2次元パネルの形状およびカテゴリの操作による制御可能な編集により、リアルなカテゴリ転送と形状変化が可能となり、未学習のカテゴリに対しても同様に有効であった。
• ステッチパターン埋め込み空間における補間により、2次元パネルおよびそれに対応する3次元衣類形状の両方で一貫性があり滑らかな遷移が得られた。