[論文レビュー] PINA: Learning a Personalized Implicit Neural Avatar from a Single RGB-D Video Sequence

Zijian Dong, Chen Guo+4 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Vision and Imaging被引用数 3

ひとこと要約

PINAは、1つのRGB-D動画シーケンスから、標準空間に定義された暗黙的符号付き距離関数（SDF）とポーズに依存するスキンニングフィールドを用いて、パーソナライズ可能でアニメーション可能な神経アバターを学習する手法を提案する。ノイズが多く部分的な深度観測に対して、形状、ポーズ、スキンニングウェイトをグローバル最適化によって同時に最適化することで、PINAは高精細な再構成と未学習のポーズへの現実的な変形一般化を達成し、2.5D入力のみを用いても最先端の手法を上回る性能を発揮する。

ABSTRACT

We present a novel method to learn Personalized Implicit Neural Avatars (PINA) from a short RGB-D sequence. This allows non-expert users to create a detailed and personalized virtual copy of themselves, which can be animated with realistic clothing deformations. PINA does not require complete scans, nor does it require a prior learned from large datasets of clothed humans. Learning a complete avatar in this setting is challenging, since only few depth observations are available, which are noisy and incomplete (i.e. only partial visibility of the body per frame). We propose a method to learn the shape and non-rigid deformations via a pose-conditioned implicit surface and a deformation field, defined in canonical space. This allows us to fuse all partial observations into a single consistent canonical representation. Fusion is formulated as a global optimization problem over the pose, shape and skinning parameters. The method can learn neural avatars from real noisy RGB-D sequences for a diverse set of people and clothing styles and these avatars can be animated given unseen motion sequences.

研究の動機と目的

• 非エキスパートユーザーが、1つのコンsumerクラスのRGB-D動画から詳細でパーソナライズされた3Dアバターを生成できるようにすること。
• ノイズが多く部分的な深度観測から、複雑な衣類の詳細を含む正確で高精細な3D幾何を再構成すること。
• 完全なスキャンや衣装を着た人の事前知識が不要な状態で、現実的でポーズ駆動の表面変形を持つアニメーション可能なアバターを学習すること。
• 標準空間表現において、形状、フレームごとのポーズ、スキンニングウェイトを同時に最適化することで、部分観測の一貫した統合を可能にすること。
• 再トレーニングや明示的教師信号なしに、未知の分布外のポーズに一般化できること。

提案手法

• 人体を標準空間における暗黙的SDFとして表現することで、動画シーケンス全体で部分的な深度観測を一貫して統合可能にする。
• 標準空間に定義されたポーズに依存するスキンニングフィールドを導入し、身体ポーズによって駆動される非剛体変形をモデル化する。
• 空間勾配をSDFの姿勢付き空間と深度画像からの表面法線と比較するポイントベースの監督スキームを用い、幾何的詳細を学習する。
• 標準SDFと変形フィールドの両方を同時に最適化するため、形状、フレームごとのポーズ、スキンニングウェイトをグローバル最適化で共同で精緻化する。
• SNARFにインspiredして、変形済み空間から標準空間への逆写像処理を最適化による標準空間対応関係を活用する。
• 深度観測のみを用いて、SDFとスキンニングフィールドを監督する微分可能レンダリングパイプラインを採用し、真値の法線や完全メッシュの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 完全なスキャンや事前学習データセットがなく、ノイズが多く部分的なRGB-D動画シーケンスからも神経アバターを正確に再構成できるか？
• RQ2 標準空間における暗黙的SDF表現は、不完全な深度観測を一貫性のある詳細な3D形状に統合できるか？
• RQ3 標準空間におけるSDFと共同最適化されたスキンニングフィールドは、未学習のポーズに一般化可能であり、現実的な衣類の変形を保持できるか？
• RQ4 部分的な2.5D入力でのみ学習した場合、本手法は最先端の手法と比較して再構成精度およびアニメーションの忠実度で優れているか？
• RQ5 本手法は、現実のRGB-Dシーケンスから、多様な衣類スタイルや複雑な幾何形状（例：フード、パーカー）を学習できるか？

主な発見

• PINAはCAPEデータセットでIoU 0.946を達成し、IP-Net（0.916）とSCANimate（2.5D）（0.665）を上回り、部分的な2.5D入力のみを用いてもSCANimate（3D）と同等の性能を発揮した。
• 本手法はCAPEでC−ℓ2損失0.666を達成し、IP-Net（0.786）とSCANimate（2.5D）（3.704）を著しく下回り、優れた再構成精度を示した。
• 定性的な結果では、PINAはCAPE や DSFN といった明示的メッシュベース手法よりも、フード、ハイカラー、パーカーなどの複雑な衣類の幾何をより正確に再構成した。
• アニメーションにおいて、PINAは未学習のポーズに対しても現実的な変形を生成したが、IP-Net や SCANimate は過学習やポーズ依存の変形フィールドのため、アーチファクトや不自然な変形を示した。
• 本手法は、ダンスや運動などの新しいモーショングラフにまで一般化でき、分布外のポーズに対して高いロバストネスを示した。
• 標準空間における形状、ポーズ、スキンニングウェイトの共同最適化により、被写体や衣類の事前知識がなくても、一貫性がありアーチファクトのない変形が可能になった。