[論文レビュー] Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control

Lingjie Liu, Marc Habermann+4 more|arXiv (Cornell University)|Jun 3, 2021

3D Shape Modeling and Analysis参考文献 65被引用数 58

ひとこと要約

Neural Actor (NA) は、SMPL にGuided by canonical pose spaceへニューラル放射場を変形させ、テクスチャマップを潜在的手掛かりとして pose-dependent appearance をモデル化することにより、移動する人間俳優の高品質な自由視点合成と、制御可能な新規ポーズを実現します。

ABSTRACT

We propose Neural Actor (NA), a new method for high-quality synthesis of humans from arbitrary viewpoints and under arbitrary controllable poses. Our method is built upon recent neural scene representation and rendering works which learn representations of geometry and appearance from only 2D images. While existing works demonstrated compelling rendering of static scenes and playback of dynamic scenes, photo-realistic reconstruction and rendering of humans with neural implicit methods, in particular under user-controlled novel poses, is still difficult. To address this problem, we utilize a coarse body model as the proxy to unwarp the surrounding 3D space into a canonical pose. A neural radiance field learns pose-dependent geometric deformations and pose- and view-dependent appearance effects in the canonical space from multi-view video input. To synthesize novel views of high fidelity dynamic geometry and appearance, we leverage 2D texture maps defined on the body model as latent variables for predicting residual deformations and the dynamic appearance. Experiments demonstrate that our method achieves better quality than the state-of-the-arts on playback as well as novel pose synthesis, and can even generalize well to new poses that starkly differ from the training poses. Furthermore, our method also supports body shape control of the synthesized results.

研究の動機と目的

• 日常的な服装の人間を、任意の視点とポーズから高品質に自由視点合成することを動機づける。
• SMPL を標準空間の代理として用い、幾何学に guiding する変形 NeRF フレームワークを開発し、大きなポーズ誘発変形を扱う。
• 動的な幾何と外観の曖昧さに対処するため、SMPL 表面上の 2D テクスチャマップを潜在変数として取り入れ、敵対的なテクスチャ事前学習を利用する。
• ポーズ制御再生と新規ポーズの合成を可能にし、再スキャンせずに俳優の形状操作も実現する。
• 新しい多視点・高密度カメラの人間パフォーマンスデータセットを提供し、従来手法よりもレンダリング品質の向上を実証する。

提案手法

• SMPL を標準空間の代理として用い、逆スキニングを介してポイントを変形し、ポーズ依存の残差変形を学習する。
• 変形した点から色と密度を予測する NeRF 風ネットワークを用いて、標準空間で放射場を表現する。
• SMPL の UV マップ上にポーズ依存のテクスチャマップ Z を予測して局所的な外観と動的効果を捉え、補助的なテクスチャ特徴抽出器 G(Z) を用いる。
• 画像間変換ネットワーク（法線マップからテクスチャマップへ）を用いてフレーム一貫性のあるテクスチャを生成するテクスチャ事前を訓練し、平均外観への回帰を避けるために敵対的損失を用いる。
• 光線に沿ってサンプリングし、標準空間の変形放射場を照会する幾何ガイド付きレイマーチングでレンダリングし、テクスチャ特徴がカラー予測を条件付ける。
• テクスチャマップに対して adversarial 損失を組み込み、不確実性を緩和しポーズ依存のディテールの現実感を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SMPL モデルに導かれた幾何学ガイド付きの変形 NeRF は、自由に動く人間を新規ポーズの下で高忠実度の新規ビュー合成に用いることができるか。
• RQ2 逆スキニングされた標準空間変形を介してポーズで NeRF を条件付けることは、ポーズ付加型 NeRF と比較して大きな体の動作の扱いを改善するか。
• RQ3 SMPL 表面上に定義された 2D テクスチャマップは、ブラー化を避けつつ pose-dependent な幾何と外観をモデル化する効果的な潜在変数となり得るか。
• RQ4 見たことのないポーズへ一般化し、身体形状の変動をサポートしつつ写真リアリズムを維持することは可能か。
• RQ5 追加のスキャンやリギングなしに、俳優のサイズ変更など実用的な形状操作を可能にできるか。

主な発見

• NA は再生と新規ポーズ合成タスクで、最先端のベースラインより高いレンダリング品質を達成する。
• SMPL ガイド変形は、剛体スキニングと非剛性残差変形を分離することで大きな動きの効率的な処理を可能にする。
• SMPL 表面上のテクスチャマップを潜在変数として、敵対的テクスチャ事前とともに、ブレを減らしポーズ依存の局所的なディテールを捉える。
• このアプローチは、訓練ポーズとは大きく異なる新規ポーズへ一般化し、自由視点合成のために俳優の体を形状変更することをサポートします。
• 新しい多視点密集カメラデータセットが作成・使用され、性能を検証した。公開データの提供が約束されている。