[論文レビュー] Self-Supervised Collision Handling via Generative 3D Garment Models for Virtual Try-On

Igor Santesteban, Nils Thuerey+2 more|arXiv (Cornell University)|May 13, 2021

3D Shape Modeling and Analysis参考文献 73被引用数 5

ひとこと要約

本論文は、衣類の標準空間と拡散人体表現を導入することで、後処理を必要とせず、衣類-身体の干渉を回避する自己教師付きでデータ駆動型の3次元バーチャルトライアル生成モデルを提案する。この手法は、標準変形部分空間における自己教師付き損失を通じて干渉のない変形を学習し、未学習のボディ形状や動きに対しても最先端の結果を達成し、干渉率は0.09%にまで低下する。

ABSTRACT

We propose a new generative model for 3D garment deformations that enables us to learn, for the first time, a data-driven method for virtual try-on that effectively addresses garment-body collisions. In contrast to existing methods that require an undesirable postprocessing step to fix garment-body interpenetrations at test time, our approach directly outputs 3D garment configurations that do not collide with the underlying body. Key to our success is a new canonical space for garments that removes pose-and-shape deformations already captured by a new diffused human body model, which extrapolates body surface properties such as skinning weights and blendshapes to any 3D point. We leverage this representation to train a generative model with a novel self-supervised collision term that learns to reliably solve garment-body interpenetrations. We extensively evaluate and compare our results with recently proposed data-driven methods, and show that our method is the first to successfully address garment-body contact in unseen body shapes and motions, without compromising realism and detail.

研究の動機と目的

• 既存の手法が後処理を必要とする、データ駆動型バーチャルトライアルにおける衣類-身体の干渉という継続的な問題に対処すること。
• トレーニング中に直接干渉のない衣類変形を学習することで、後処理の必要性を排除すること。
• 未学習のボディ形状や動きに強く一般化し、現実的で物理的に妥当な結果を保証すること。
• 自己教師付き干渉学習を可能にする、微分可能で標準的な衣類変形表現を開発すること。
• 推論効率と現実性を向上させつつ、生成された衣類の幾何的詳細を高水準に維持すること。

提案手法

• 皮膚スミン重量とブレンドシェイプを任意の3次元点に拡張する、拡散的でボリュメトリックな人体表現を導入し、滑らかな変形モデリングを可能にする。
• 既に拡散人体モデルで捉えられているポーズ依存・形状依存の変形を除去する、新しい衣類の標準空間を提案する。
• スミンパラメータを、ポーズなしおよび形状なしの衣類配置の関数として定義することで、ポーズ状態への干渉のない投影を保証する。
• 生成的変形部分空間を網羅的にサンプリングすることで、自己教師付き干渉損失を活用し、干渉回避を学習する。
• 標準空間における変形を回帰器で予測した後、衣類モデルを用いて微分可能かつ一意な投影により最終的な3次元メッシュに変換する。
• 干渉を抑える損失を新たに設計し、エンドツーエンドで訓練される生成モデルを用い、干渉のない出力を保証する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型3次元バーチャルトライアル手法は、後処理を経ずに衣類-身体の干渉を回避できるか？
• RQ2 下位の人体モデルから形状とポーズの変形を分離するための標準的衣類表現は、どのように構築できるか？
• RQ3 自己教師付き学習は、多様なボディ形状や動きにおいて、干渉回避を効果的に学習できるか？
• RQ4 本手法は、トレーニング時に見られなかったボディ形状や動的動きに、どの程度一般化できるか？
• RQ5 物理ベースのシミュレーションおよび既存のデータ駆動型手法と比較して、性能と現実性の面で本手法はどのように優れるか？

主な発見

• 提案手法は、AMASSデータセットの未学習テストシーケンスにおいて、干渉率がわずか0.09%にまで低下し、最先端の手法を大きく上回る。
• 完全な干渉損失を除いた場合、干渉率は0.62%に上昇するため、自己教師付き損失項が干渉回避に果たす重要性が明確に示された。
• 極端なモルフォロジーでさえも、トレーニング分布外の未学習のボディ形状に対しても、著しい干渉なしに効果的に一般化される。
• 流れるようなドレスのような高動的シーケンスでさえも、物理ベースのシミュレーションと同等のリアルなシワや動きを再現する。
• 推論時間は効率的で、複雑な衣類（例：23,000三角形）に対しても1フレームあたり3ms未満であり、リアルタイム応用に適している。
• 後処理を用いる手法は、干渉を減らす一方で、不自然な膨らみなどの新たなアーチファクトを生じがちであるが、本手法はこれを完全に回避する。