[論文レビュー] Garment4D: Garment Reconstruction from Point Cloud Sequences

Fangzhou Hong, Liang Pan+2 more|arXiv (Cornell University)|Dec 8, 2021

3D Shape Modeling and Analysis被引用数 10

ひとこと要約

Garment4Dは、2D画像ベースの手法に内在するスケールおよびポーズのあいまいさを回避するため、連続する3次元点群から3次元衣装を再構築する画期的なフレームワークを提案する。点群の逐次登録、PCA係数を用いた標準衣装推定、および反復的GCNと時系列変換器を組み合わせたプロポーザル誘導型階層的特徴ネットワークを用い、微細なディテールと動的変形をモデル化することで、SMPL+Dや明示的な人体モデルに依存せずに、タイトな衣装およびゆるい衣装の高精細で解釈可能なメッシュ再構築を実現する。

ABSTRACT

Learning to reconstruct 3D garments is important for dressing 3D human bodies of different shapes in different poses. Previous works typically rely on 2D images as input, which however suffer from the scale and pose ambiguities. To circumvent the problems caused by 2D images, we propose a principled framework, Garment4D, that uses 3D point cloud sequences of dressed humans for garment reconstruction. Garment4D has three dedicated steps: sequential garments registration, canonical garment estimation, and posed garment reconstruction. The main challenges are two-fold: 1) effective 3D feature learning for fine details, and 2) capture of garment dynamics caused by the interaction between garments and the human body, especially for loose garments like skirts. To unravel these problems, we introduce a novel Proposal-Guided Hierarchical Feature Network and Iterative Graph Convolution Network, which integrate both high-level semantic features and low-level geometric features for fine details reconstruction. Furthermore, we propose a Temporal Transformer for smooth garment motions capture. Unlike non-parametric methods, the reconstructed garment meshes by our method are separable from the human body and have strong interpretability, which is desirable for downstream tasks. As the first attempt at this task, high-quality reconstruction results are qualitatively and quantitatively illustrated through extensive experiments. Codes are available at https://github.com/hongfz16/Garment4D.

研究の動機と目的

• 2次元画像ベースの衣装再構築の限界、特にスケールおよびポーズのあいまいさを解消するため、3次元点群シーケンスを入力として用いる。
• 後続のタスク（リターゲティングやテクスチャマッピングなど）に適した、人体から分離可能なパラメトリックで解釈可能な衣装メッシュ再構築を可能にする。
• 人体の大きな動き下でのゆるい衣装（例：スカート）の複雑な非剛体変形を、時系列的および幾何的特徴学習を用いて効果的にモデル化する。
• 3次元点群シーケンスからの衣装再構築という、ほとんど未開拓の分野に、ベンチマークデータセットとフレームワークを確立する。
• SMPL+Dや追加のアノテーションを必要としない、画期的なパイプラインを構築する。

提案手法

• 最適化ベースのテンプレートアライメントによる逐次的衣装登録、その後にバーチャルトライアルのためのトポロジー統一のための重心補間を実施する。
• 着衣した人体の点群シーケンスを入力として、意味的感度を持つPCA係数エンコーダーを用いた標準衣装推定。
• 補間された線形ブレンドスキンニング（LBS）によるプロポーザル生成。アーチファクトのないゆるい衣装のスキンニングを実現し、学習やSMPL+Dを必要としない。
• 高レベルの意味的特徴、低レベルの幾何的特徴、人体に配慮した特徴を統合する、プロポーザル誘導型階層的特徴ネットワークを用いて微細な再構築を実現する。
• 無順序な点群における効率的な幾何的特徴学習のための反復的グラフ畳み込みネットワーク（GCN）。
• 空間的・時系列的特徴統合を実現するための時系列変換器。時間軸にわたる滑らかで一貫性のある衣装の動きを捉える。

実験結果

リサーチクエスチョン

• RQ1 3次元点群シーケンスは、特にスケールおよびポーズのあいまいさを扱う際、2次元画像に比べてより正確で曖昧でない衣装再構築を可能にするか？
• RQ2 無順序かつ非構造的な点群から、ゆるい衣装の微細な幾何的ディテールと動的変形を効果的にモデル化できるか？
• RQ3 SMPL+Dや明示的な人体テンプレートに依存せず、解釈可能性と人体からの分離性を維持したパラメトリックな衣装モデルを学習できるか？
• RQ4 本手法は、不完全またはノイズの多い点群、セグメンテーションエラーに対し、どの程度一般化可能か？
• RQ5 時系列変換器による時系列モデリングを組み込むことで、点群シーケンスからの衣装再構築でどの程度の性能向上が得られるか？

主な発見

• Garment4Dは、点群シーケンスから高品質で解釈可能な3次元衣装メッシュ再構築を実現し、最大50％の点群欠損に対しても頑健である。
• セグメンテーションエラーに対しても強力な性能を維持し、50％のセグメンテーション精度でさえも、まともな再構築結果を生成する。これにより、入力ノイズに対する耐性が示された。
• 提案された補間LBS法は、スカートのようなゆるい衣装をアーチファクトなしで効果的に処理でき、この文脈ではSMPL+Dベースのスキンニングを上回る性能を発揮した。
• プロポーザル誘導型階層的特徴ネットワークと反復的GCNの組み合わせにより、生の点群から幾何的ディテールを効果的に学習できる。
• 時系列変換器は、再構築された衣装シーケンスにおける動きのなめらかさと時系列的一致性を顕著に向上させた。
• 著者らは、CLOTH3Dから変換された2,300の3次元点群シーケンスを含む新しいベンチマークデータセットを公開し、今後の研究を促進する。