[論文レビュー] ReWeaver: Towards Simulation-Ready and Topology-Accurate Garment Reconstruction

Ming Li, Hui Lin Shan+6 more|arXiv (Cornell University)|Jan 23, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

ReWeaver は Topology-accurate な3D衣服と2D縫製パターンを sparse な複数視点のRGB画像から再構成し、3D曲線/パッチと2Dパネルをシミュレーション用資産に結びつける。

ABSTRACT

High-quality 3D garment reconstruction plays a crucial role in mitigating the sim-to-real gap in applications such as digital avatars, virtual try-on and robotic manipulation. However, existing garment reconstruction methods typically rely on unstructured representations, such as 3D Gaussian Splats, struggling to provide accurate reconstructions of garment topology and sewing structures. As a result, the reconstructed outputs are often unsuitable for high-fidelity physical simulation. We propose ReWeaver, a novel framework for topology-accurate 3D garment and sewing pattern reconstruction from sparse multi-view RGB images. Given as few as four input views, ReWeaver predicts seams and panels as well as their connectivities in both the 2D UV space and the 3D space. The predicted seams and panels align precisely with the multi-view images, yielding structured 2D--3D garment representations suitable for 3D perception, high-fidelity physical simulation, and robotic manipulation. To enable effective training, we construct a large-scale dataset GCD-TS, comprising multi-view RGB images, 3D garment geometries, textured human body meshes and annotated sewing patterns. The dataset contains over 100,000 synthetic samples covering a wide range of complex geometries and topologies. Extensive experiments show that ReWeaver consistently outperforms existing methods in terms of topology accuracy, geometry alignment and seam-panel consistency.

研究の動機と目的

• トポロジー認識を考慮した衣服再構成の必要性を動機づけ、シミュレーションと製造ワークフローを支援する。
• 3D衣服パッチ/曲線とそれらの2D縫製パターンを explicit な 2D–3D 対応と共に予測する統一モデルを開発する。
• 多くのテクスチャ付きデータセット（GCD-TS）を縫製アノテーション付きで作成・活用し、トポロジー精度の高い再構成を訓練・評価する。
• 物理シミュレーション、3D認識、衣服資産作成に直接使える出力を実現する。

提案手法

• Sparse な視点から統一された画像トークンを生成する VGGT に類似したマルチビュー視覚エンコーダを採用する。
• パッチ/曲線クエリを介して画像トークンから3Dパッチ/曲線とその接続を予測する bi-path トランスフォーマを用いる。
• ジオメトリをパッチと曲線のクエリトークンによって条件付けられたハイパーネットワークでパラメータ化した暗黙的 MLP 表現として表現する。
• 接続性に基づいてパッチと曲線をグループ化し、 intra-group アテンションを適用して2D辺を生成することで2Dパネルのエッジを予測する。
• 現実のパネルサイズを回復するためのパネル規模ファクターを予測し、ループ継続とパネル正当性を保証するジオメトリ refinement パイプラインを適用する。
• 対応付けのハンガリアンマッチングを用いて、幾何学には Chamfer 距離、妥当性/接続性には二値交差エントロピー、スケールには L2 ロスを含む微分可能なロスで訓練する。

実験結果

リサーチクエスチョン

• RQ1 4視点以上から単一モデルで3D衣服トポロジーと2D縫製パターンを同時再構成できるか？
• RQ2 explicit な 2D–3D 対応がシミュレーション用衣服のトポロジー精度と幾何 Fidelity をどう改善するか？
• RQ3 トポロジー認識再構成は未知の衣服トポロジーに対しても幾何学的精度を維持して一般化するか？
• RQ4 トポロジーおよび幾何の refinement が2D パネル品質と3D 幾何に与える影響は？
• RQ5 GCD-TS データセットはトポロジー認識衣服再構成の訓練・評価にどれほど効果的か？

主な発見

• ReWeaver は 2D パネル再構成タスクでベースラインと比較してトポロジー精度と幾何の整合性が優れている。
• モデルはシミュレーションに適した explicit な 2D–3D 対応を伴う一貫した 2D 縫製パターンと3D衣服幾何を出力する。
• トポロジー refinement により冗長なエッジが削減され、パネルの正確さと2Dエッジ品質が向上する。
• 幾何 refinement は閉ループなパネル境界を保証し、エッジの精度とパネル IoU を改善する。
• 3Dパッチの適応的サンプリングは固定サンプリングより地上真値に近い Chamfer 距離を達成する。
• ReWeaver の 2D 縫製パターン出力は sparse な複数視点画像と整合するシミュレーション用資産を可能にする。