[論文レビュー] SNUG: Self-Supervised Neural Dynamic Garments

Igor Santesteban, Miguel Á. Otaduy+1 more|arXiv (Cornell University)|Apr 5, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

SNUGは、物理ベースの最適化を微分可能損失として用いる自己教師あり学習フレームワークを提案し、高価な真値データセットの必要を排除することで、動的3D衣類変形の学習を実現する。陰性積分法を最適化問題に再定式化することで、教師あり手法と比較して学習時間を100倍高速化しつつ、最先端の現実性を達成する。

ABSTRACT

We present a self-supervised method to learn dynamic 3D deformations of garments worn by parametric human bodies. State-of-the-art data-driven approaches to model 3D garment deformations are trained using supervised strategies that require large datasets, usually obtained by expensive physics-based simulation methods or professional multi-camera capture setups. In contrast, we propose a new training scheme that removes the need for ground-truth samples, enabling self-supervised training of dynamic 3D garment deformations. Our key contribution is to realize that physics-based deformation models, traditionally solved in a frame-by-frame basis by implicit integrators, can be recasted as an optimization problem. We leverage such optimization-based scheme to formulate a set of physics-based loss terms that can be used to train neural networks without precomputing ground-truth data. This allows us to learn models for interactive garments, including dynamic deformations and fine wrinkles, with two orders of magnitude speed up in training time compared to state-of-the-art supervised methods

研究の動機と目的

• 3D衣類変形の教師あり学習における高いデータおよび計算コストを低減するため、真値3Dメッシュの必要を排除すること。
• 事前計算されたデータセットを一切使用せず、物理ベースの制約のみを用いて、動的3D衣類の自己教師あり学習を可能にすること。
• 頂点レベルのL2損失ではなく、内在する物理的性質を活用することで、学習された衣類変形の一般化性と現実性を向上させること。
• 統一された自己教師ありフレームワーク内で、異なる材料モデルへの容易な適応を可能にすること。
• 教師あり最先端手法と同等またはそれを上回る現実性を維持しながら、学習および推論を高速化すること。

提案手法

• フレームごとの物理ベースの積分（例：後退オイラー法）を微分可能最適化問題に再定式化する。
• 最適化目的関数を自己教師あり損失関数として用い、運動方程式から導出された慣性および静的エネルギー項を組み込む。
• 真値メッシュを一切必要とせず、この物理ベースの損失を最小化するようにニューラルネットワークを訓練し、衣類変形を予測する。
• 真値の明示的教師なしで、ボディ形状、ポーズ、材料パラメータのみを入力としてエンドツーエンドの学習を可能にする。
• 最適化損失内のエネルギー項を調整することで、複数の材料モデルをサポートし、織物間での一般化を可能にする。
• 2段階の訓練スキームを採用：まず、レグレッサーがボディパラメータから変形を学習し、次に物理ベースの損失を用いてネットワークをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 真値3Dメッシュデータが一切ない状態で、動的3D衣類変形を学習できるか？
• RQ2 物理ベースのシミュレーション原理を、ニューラル衣類変形モデルの自己教師信号として利用できるか？
• RQ3 自己教師ありアプローチは、学習時間を短縮しつつ、教師あり手法と同等またはそれ以上の現実性を達成できるか？
• RQ4 物理ベースの最適化損失の使用が、学習された衣類動的挙動の現実性および一般化性に与える影響は何か？
• RQ5 再トレーニングなしに、異なるボディシェイプ、ポーズ、素材タイプに一般化できるか？

主な発見

• SNUGは、真値データを一切使用しないにもかかわらず、Santestebanら[45] や TailorNet[39] といった教師あり最先端手法と同等の衣類変形を達成する。
• 自己教師あり手法は、同じ動きを用いてトレーニングされた教師ありベースラインと比較して、より詳細なしわを生成することが、定性的な比較および補足動画で示された。
• 教師あり手法が事前計算された物理シミュレーションに依存するのに対し、学習時間は約2桁（100倍）短縮された。
• 未学習のボディシェイプおよびポーズに対しても良好に一般化され、ポーズおよびシェイプ依存のしわが過学習を伴わず生成された。
• L2頂点レベル損失に起因する一般的な平滑化アーチファクトを、物理的エネルギー最小化に依存することで緩和した。
• アブレーションスタディにより、物理ベース損失の全成分（慣性、静的、接触項）が現実性および動的挙動の向上に寄与することが確認された。