[論文レビュー] SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes

Xu Chen, Yufeng Zheng+3 more|arXiv (Cornell University)|Jan 1, 2021

3D Shape Modeling and Analysis参考文献 59被引用数 13

ひとこと要約

SNARFは、教師なしで、アーティキュレーテッド3D形状のニューラルインプリシット形状をアニメートするための微分可能フォワードスキンニングフレームワークを導入する。スキンニング重み場とキャノニカル形状を、ポーズに依存しない形で学習する。反復的根の探索と暗黙的微分を用いることで、未観測のポーズへも高精度なポーズ依存変形を一般化可能にし、再構成精度とロバスト性において最先端の手法を上回る。特に分布シフト下でも顕著な性能向上を示す。

ABSTRACT

Neural implicit surface representations have emerged as a promising paradigm to capture 3D shapes in a continuous and resolution-independent manner. However, adapting them to articulated shapes is non-trivial. Existing approaches learn a backward warp field that maps deformed to canonical points. However, this is problematic since the backward warp field is pose dependent and thus requires large amounts of data to learn. To address this, we introduce SNARF, which combines the advantages of linear blend skinning (LBS) for polygonal meshes with those of neural implicit surfaces by learning a forward deformation field without direct supervision. This deformation field is defined in canonical, pose-independent space, allowing for generalization to unseen poses. Learning the deformation field from posed meshes alone is challenging since the correspondences of deformed points are defined implicitly and may not be unique under changes of topology. We propose a forward skinning model that finds all canonical correspondences of any deformed point using iterative root finding. We derive analytical gradients via implicit differentiation, enabling end-to-end training from 3D meshes with bone transformations. Compared to state-of-the-art neural implicit representations, our approach generalizes better to unseen poses while preserving accuracy. We demonstrate our method in challenging scenarios on (clothed) 3D humans in diverse and unseen poses.

研究の動機と目的

• ニューラルインプリシット表現におけるバックワード変形場の限界、すなわちポーズ依存性と未観測ポーズへの一般化の悪さを解決すること。
• 事前に定義されたスキンニング重みやパーツ対応関係を必要とせず、3次元のポーズ付きメッシュから、ポーズに依存しないキャノニカルスキンニング重み場とニューラルインプリシット形状を学習すること。
• アーティキュレーテッド3D形状、特に服を着た人間を含む、任意のポーズにおける高精度で連続的かつトポロジーに柔軟なアニメーションを実現すること。
• 暗黙的微分による解析的勾配を用いた微分可能フォワードスキンニングにより、エンドツーエンドの学習を達成すること。

提案手法

• 複数の可能なキャノニカル対応を解消するために、反復的根の探索を用いて変形済み空間の点をキャノニカル空間に戻すフォワードスキンニングモデルを提案する。
• キャノニカル空間に、ポーズに依存しない、連続的かつ高密度なスキンニング重み場を学習する。
• 暗黙的微分を用いてフォワードスキンニングモジュールの解析的勾配を導出し、3次元メッシュ観測からのエンドツーエンドバックプロパゲーションを可能にする。
• ポーズ埋め込みをニューラルインプリシット形状関数に条件づけることで、服のしわや柔らかい組織の動きといった非線形なポーズ依存変形を捉える。
• グランドトゥルースのスキンニング重みやパーツラベルを必要とせず、閉じた3次元メッシュのシーケンスと対応するボーン変換を同時に学習する。
• フォワードスキンニングとニューラルインプリシット関数を通過する微分可能レンダリングおよび最適化パイプラインを採用し、形状とスキンニング重みの両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 スキンニング重みや対応関係に関する教師信号なしに、3次元ポーズ付きメッシュからのみエンドツーエンドで微分可能フォワードスキンニングモデルを学習可能か？
• RQ2 トポロジーの変化が生じる状況下で、変形済み点の複数のキャノニカル対応を一貫して特定する方法は何か？これにより、ロバストな変形学習が可能か？
• RQ3 ポーズに依存しないスキンニング場は、未観測のポーズへ一般化可能であり、ニューラルインプリシット表面の微細な幾何的詳細を保持できるか？
• RQ4 分布シフト下において、フォワードスキンニングはバックワード変形場と比較して、一般化性能および再構成品質で優れているか？
• RQ5 メッシュとボーンデータのみで、服の動的挙動のような現実的で非線形な変形を有効にアニメート可能か？

主な発見

• SNARFは、最小限の服を着た人間のベンチマークで最先端の性能を達成し、近接表面点における平均IoUでNASAや他のベースラインを4.6%上回った。
• 未観測のポーズにおいても、SNARFは高い再構成品質を維持し、NASAと比較して近接表面IoUが20.4%向上し、滑らかな劣化を示した。
• 極端で分布外のポーズにおいても、しわや関節の変形といった微細な幾何的詳細を備えた現実的で連続的な形状を生成した。
• 定性的な結果では、SNARFは正しいボディポーズと自然な服の変形を生成する一方、ベースラインは不連続性、欠損部、または歪んだ身体を示すアーチファクトを発生させた。
• 学習されたスキンニング重みは、身体部位を越えて滑らかに遷移しており、教師なしでも正確な解剖学的割り当てを反映していた。
• キャノニカル形状はポーズ依存補正を学習しており、ヒートマップでキャノニカルポーズからの変形差を可視化することで、非線形な形状適応が可能であることが示された。