[論文レビュー] PBNS: Physically Based Neural Simulator for Unsupervised Garment Pose Space Deformation

Hugo Bertiche, Meysam Madadi+1 more|arXiv (Cornell University)|Dec 21, 2020

3D Shape Modeling and Analysis被引用数 11

ひとこと要約

本論文では、問題を暗黙的な物理ベースのシミュレーションとして定式化することにより、riggedな衣装の物理的に整合性のあるポーズスペース変形（PSD）を学習する、深層学習に基づく非教師ありニューラルシミュレータPBNSを提案する。この手法は数分で学習が完了し、後処理を経ずに衝突のないポーズ依存のしわを生成し、リアルタイム性能（GPUで14,000 FPS以上）を達成する。これにより、標準のLBSパイプラインと互換性を持つ効率的でスケーラブルな3次元衣装アニメーションが可能になる。

ABSTRACT

We present a methodology to automatically obtain Pose Space Deformation (PSD) basis for rigged garments through deep learning. Classical approaches rely on Physically Based Simulations (PBS) to animate clothes. These are general solutions that, given a sufficiently fine-grained discretization of space and time, can achieve highly realistic results. However, they are computationally expensive and any scene modification prompts the need of re-simulation. Linear Blend Skinning (LBS) with PSD offers a lightweight alternative to PBS, though, it needs huge volumes of data to learn proper PSD. We propose using deep learning, formulated as an implicit PBS, to unsupervisedly learn realistic cloth Pose Space Deformations in a constrained scenario: dressed humans. Furthermore, we show it is possible to train these models in an amount of time comparable to a PBS of a few sequences. To the best of our knowledge, we are the first to propose a neural simulator for cloth. While deep-based approaches in the domain are becoming a trend, these are data-hungry models. Moreover, authors often propose complex formulations to better learn wrinkles from PBS data. Supervised learning leads to physically inconsistent predictions that require collision solving to be used. Also, dependency on PBS data limits the scalability of these solutions, while their formulation hinders its applicability and compatibility. By proposing an unsupervised methodology to learn PSD for LBS models (3D animation standard), we overcome both of these drawbacks. Results obtained show cloth-consistency in the animated garments and meaningful pose-dependant folds and wrinkles. Our solution is extremely efficient, handles multiple layers of cloth, allows unsupervised outfit resizing and can be easily applied to any custom 3D avatar.

研究の動機と目的

• 従来の物理ベースのシミュレーション（PBS）および教師あり深層学習手法が3次元衣装アニメーションにおいて抱える高い計算コストとデータ依存性を克服すること。
• PBSシミュレーションや4次元スキャンデータを必要とせずに、riggedな衣装のポーズスペース変形（PSD）の非教師あり学習を可能にすること。
• 標準のLBSアニメーションパイプラインと互換性を持つ物理的に整合性のある、衝突のない布の変形を生成する手法を開発すること。
• 学習時間と計算リソースを大幅に削減し、多様なアバターと衣装への迅速な展開を可能にすること。
• VR/ARやリアルタイムアプリケーションにおける複雑で多層構造の衣装のスケーラブルで効率的かつリアルタイムのアニメーションをサポートすること。

提案手法

• 深層ニューラルネットワークを用いて物理ベースのエネルギー関数を最小化することで、衣装変形予測を暗黙的な物理ベースのシミュレーション（PBS）として定式化する。
• 物理的整合性（低エネルギー状態や衝突回避など）を強制する損失関数を最小化することで、非教師ありでネットワークを学習する。
• ポーズパラメータから直接PSDブレンドシェイプを予測する小型で軽量なMLPを用い、標準のLBSアニメーションシステムとの互換性を確保する。
• 明示的なシミュレーションや後処理を回避するため、暗黙的に布のダイナミクスを符号化する微分可能物理定式化を活用する。
• Adam最適化子を用い、2,550体のポーズのサブセットで学習し、CPUでも1エポックあたり1〜2分で学習可能（GTX1080Tiでも1〜2分）。
• 学習済みモデルをリアルタイム推論にデプロイし、CPUおよびGPUの両方で高速なアニメーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模なPBSシミュレーションやスキャンデータに依存せずに、深層学習モデルが現実的で物理的に整合性のある衣装変形を学習できるか？
• RQ2 暗黙的なPBS定式化による非教師あり学習が、後処理を経ずに衝突のないポーズ依存のしわを生成できるか？
• RQ3 GPUがなくても、数分で学習でき、高い忠実度と効率を維持できるニューラル衣装シミュレータを構築できるか？
• RQ4 提案手法が、ビデオゲームやVR/ARなどのリアルタイムアプリケーションに効率的にデプロイ可能で、多様なアバターと衣装にスケーラブルか？
• RQ5 学習されたPSDの性能と物理的整合性は、既存の教師あり深層学習およびPBS手法と比較してどうか？

主な発見

• PBNSモデルは、12,000頂点の衣装に対して、GPUで14,000 FPS以上、CPUで1,235 FPS以上のバッチ推論速度を達成し、従来のPBSおよび深層学習手法を大きく上回る。
• GTX1080Tiでは1エポックあたり1〜2分、GPUなしでも2〜4分で学習可能であり、迅速な反復とデプロイが可能である。
• 後処理を一切経ずに物理的に整合性があり、衝突のない衣装を生成し、リアルタイム利用が保証される。
• 異なるボディシェイプに一般化可能で、任意の3次元アバターに適用可能であり、非教師ありの衣装サイズ変更と多層構造の布シミュレーションをサポートする。
• 未学習のポーズシーケンスにおいても意味的でポーズ依存のしわと時間的整合性が得られ、定性的にPBSのリアルさに匹敵する。
• 標準のLBSパイプラインと完全に互換性があり、既存の3次元アニメーションソフトウェアやゲームエンジンへのシームレスな統合が可能である。