[論文レビュー] SplatArmor: Articulated Gaussian splatting for animatable humans from monocular RGB videos

Rohit Jena, Ganesh Iyer+4 more|arXiv (Cornell University)|Nov 17, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

SplatArmorは、3次元ガウスを標準的なSMPLボディモデルに「アーマー」で固定することで、単眼RGB動画から詳細でアニメーション可能な3次元人間アバターを生成する新規手法を提案する。前方スキンニングとポーズ依存のSE(3)フィールド、およびニューラルカラー場を用いた3次元の監視により、9GBのGPUメモリで7時間の学習とリアルタイム推論を実現し、新規ビューおよびポーズ合成において最先端の結果を達成した。

ABSTRACT

We propose SplatArmor, a novel approach for recovering detailed and animatable human models by `armoring' a parameterized body model with 3D Gaussians. Our approach represents the human as a set of 3D Gaussians within a canonical space, whose articulation is defined by extending the skinning of the underlying SMPL geometry to arbitrary locations in the canonical space. To account for pose-dependent effects, we introduce a SE(3) field, which allows us to capture both the location and anisotropy of the Gaussians. Furthermore, we propose the use of a neural color field to provide color regularization and 3D supervision for the precise positioning of these Gaussians. We show that Gaussian splatting provides an interesting alternative to neural rendering based methods by leverging a rasterization primitive without facing any of the non-differentiability and optimization challenges typically faced in such approaches. The rasterization paradigms allows us to leverage forward skinning, and does not suffer from the ambiguities associated with inverse skinning and warping. We show compelling results on the ZJU MoCap and People Snapshot datasets, which underscore the effectiveness of our method for controllable human synthesis.

研究の動機と目的

• マーカーを用いないシステムで、単眼RGB動画から高精細でアニメーション可能な3次元人間アバターを生成すること。
• メッシュベースおよびNeRFベースの手法が抱えるトポロジー制約、最適化の難易度、ポーズ依存の幾何モデリングの制限を克服すること。
• ガウススプラッティングを活用してより高速で微分可能なレンダリングを実現するとともに、逆スキンニングおよびワープの曖昧さを回避すること。
• 最小限の計算コストで高精細な新規ビューおよびポーズ合成を実現すること。
• 正確なガウスの位置決めと外観を実現するため、ニューラルカラー場による3次元の監視と色の正則化を提供すること。

提案手法

• 人間を標準空間における3次元ガウスの集合として表現し、アーティキュレーションはSMPLスキンニングを任意の標準的位置に拡張することで定義する。
• ポーズ依存の変換をモデル化するためのSE(3)フィールドを導入し、観測空間におけるガウスの位置と非等方性を捉える。
• ガウスの色を正則化し、正確な空間的配置のための3次元の監視を提供するためのニューラルカラー場を用いる。
• 逆スキンニングおよびワープの曖昧さを回避するため、標準ガウスを観測空間にマッピングする前方スキンニングを採用する。
• 収束性の向上とアーチファクトの低減を図るため、ビジュアルハル推定とカラー場初期化を用いた事前学習スキームを導入する。
• 学習中にフレームごとのポーズを最適化するとともに、非剛性でポーズ依存の形状変形を学習可能なMLPを活用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なSMPLモデルに固定された3次元ガウスは、単眼RGB動画から高精細でアニメーション可能な人間再構築を達成できるか？
• RQ2 ガウスを用いた前方スキンニングは、逆スキンニングに比べて、頑健性とアーチファクト低減の観点で優れているか？
• RQ3 ニューラルカラー場は、明示的な3次元の監視がなくても、ガウスの色を効果的に正則化し、3次元の監視を提供できるか？
• RQ4 NeRFベースのベースラインと比較して、本手法の学習効率と推論速度はどのように異なるか？
• RQ5 過学習やアーチファクトの発生を抑えて、未知のポーズやビューへの一般化はどの程度達成できるか？

主な発見

• ZJU MoCapデータセットにおいて、SplatArmorは新規ビューおよびポーズ合成でPSNR 31.94、LPIPS 26.08を達成し、すべてのベースラインを上回った。
• アブレーションスタディの結果、ニューラルカラー場を除去するとPSNRが5.86低下し、LPIPSが5.86上昇し、アーチファクト抑制におけるその重要性が確認された。
• ビジュアルハルおよびカラー場の事前学習により、未知のポーズにおけるアーチファクトが低減された。事前学習なしのバージョンでは再構築品質に顕著な劣化が見られた。
• 本手法は9GBのGPUメモリで7時間の学習を実行でき、HumanNeRF（48GBで3日間）およびAnimNeRF（15時間）と比較して顕著に高速であり、リアルタイム推論を達成した。
• ポーズ依存のMLPの剛体（R）バージョンが、精度と過剰補正のバランスが最良であり、並進のみおよびアフィン変換バージョンを上回った。
• 失敗事例として、視点依存の色のモデル化が欠落しているため、未確認領域や自己影領域で外観が暗くなる現象が見られ、外観モデリングの限界を示唆している。