[論文レビュー] BCNet: Learning Body and Cloth Shape from A Single Image

Boyi Jiang, Juyong Zhang+4 more|arXiv (Cornell University)|Apr 1, 2020

3D Shape Modeling and Analysis参考文献 58被引用数 6

ひとこと要約

BCNetは、SMPL上にレイヤードガーメント表現を用いて、単一のニア・フロントRGB画像から詳細な3Dボディおよびガーメント形状を再構築するための新しい手法を提案する。皮膚のスキンニングウェイトはボディメッシュから独立して学習され、スカートのような多様なトポロジーを持つガーメントのサポートを可能にする。マルチビュー入力や後処理を必要とせず、ガーメントのトランスファーなどのアプリケーションに対して柔軟な制御を可能にし、最先端の再構築精度を達成する。

ABSTRACT

In this paper, we consider the problem to automatically reconstruct garment and body shapes from a single near-front view RGB image. To this end, we propose a layered garment representation on top of SMPL and novelly make the skinning weight of garment independent of the body mesh, which significantly improves the expression ability of our garment model. Compared with existing methods, our method can support more garment categories and recover more accurate geometry. To train our model, we construct two large scale datasets with ground truth body and garment geometries as well as paired color images. Compared with single mesh or non-parametric representation, our method can achieve more flexible control with separate meshes, makes applications like re-pose, garment transfer, and garment texture mapping possible. Code and some data is available at https://github.com/jby1993/BCNet.

研究の動機と目的

• 単一のRGB画像から、既存の手法に制限があるのを克服して、ボディおよびガーメント形状の正確な3D再構築を可能にすること。
• スカートのようなゆったりしたガーメントを含む、多様なガーメントカテゴリ、特にボディとは異なるトポロジーを持つものへの対応をすること。
• マルチビュー入力、セマンティックセグメンテーション、Aポーズ制約に依存しないように、単一のフロントビュー画像を用いること。
• ボディとガーメントジオメトリを同時に予測するトレーニング可能なフレームワークを構築し、別々に制御可能なメッシュを提供すること。
• トレーニングおよび評価のための、大規模で公開可能な合成画像と対応する3Dボディ・クロージャ形状のデータセットを構築すること。

提案手法

• ガーメントメッシュがSMPLボディメッシュに束縛されないレイヤードガーメント表現を提案し、独立したスキンニングウェイト予測を可能にする。
• ガーディングに適応したスキンニングウェイトネットワークを導入し、異なるトポロジーにわたり柔軟な変形を可能にする。
• 初期形状推定後のガーメントディテール予測を精緻化するために、グラフ畳み込みネットワーク（GCNs）を採用する。
• 多様で現実的な衣装付きボディデータを生成するために、物理ベースのシミュレーションパイプラインを活用する。
• SMPLボディ、合成ガーメント、高精細テクスチャ付き画像を組み合わせた大規模な合成データセットを用いて、ディープニューラルネットワークをトレーニングする。
• ボディ形状（SMPLパラメータ）、ポーズ、ガーメントジオメトリを別々のメッシュ出力で回帰するためのマルチステージネットワークアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 単一の画像入力で、スカートのようなゆったりしたガーメントを含む複雑なガーメント形状の正確な3D再構築が可能か？
• RQ2 スキンニングウェイトをボディメッシュから分離することで、異なるトポロジーを持つガーメントのサポートと変形アーチファクトの低減が可能か？
• RQ3 マルチビュー入力やセマンティックアノテーションを必要とせず、ディープラーニングモデルが複数のガーメントカテゴリに一般化可能か？
• RQ4 単一のフロントビュー画像のみを用いて、最先端の手法と比較してどの程度の再構築精度が達成可能か？
• RQ5 提案手法が、後処理を必要とせずに、ガーメントトランスファーおよびリポーズなどの柔軟な後続アプリケーションを可能にするか？

主な発見

• BCNetは、後処理を必要とせず、BUFFデータセットにおいてMGN や Octopus と同等またはそれ以上の再構築精度を達成する。
• DWデータセットでは、単一画像入力でPIFuと同等の再構築精度を達成し、別々に制御可能なボディおよびガーメントメッシュを提供する。
• スカートのようなゆったりしたガーメントを、SMPLに束縛された手法で一般的に見られるアーチファクトを回避して正確に再構築する。
• MGNと比較して、マルチビューのセグメンテーションやAポーズ制約を必要とせず、より正確なボディサイズとガーメントジオメトリを生成する。
• 提案されたデータセット構築パイプラインは、多様で高品質な合成データを生成し、リアルなテクスチャと多様なポーズを備えた、頑健なトレーニングを可能にする。
• 再構築結果を用いて、ガーメントトランスファーおよびポーズトランスファーが成功裏に実装され、別々のメッシュ表現の柔軟性が確認された。