[論文レビュー] Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans

Sida Peng, Yuanqing Zhang+5 more|arXiv (Cornell University)|Dec 31, 2020

Advanced Vision and Imaging参考文献 65被引用数 21

ひとこと要約

Neural Body は、可動式の SMPL メッシュに共有された潜在コードを固定することで、スパースなマルチビュー動画からの動的人体の新規視点再構築のための新しい暗黙的ニューラル表現を提案する。この手法により、フレーム間の観測統合が可能となり、ZJU-MoCap および単眼動画再構築の両方で、PSNR および SSIM の面で顕著な優位性を示す最先端の性能を達成する。

ABSTRACT

This paper addresses the challenge of novel view synthesis for a human performer from a very sparse set of camera views. Some recent works have shown that learning implicit neural representations of 3D scenes achieves remarkable view synthesis quality given dense input views. However, the representation learning will be ill-posed if the views are highly sparse. To solve this ill-posed problem, our key idea is to integrate observations over video frames. To this end, we propose Neural Body, a new human body representation which assumes that the learned neural representations at different frames share the same set of latent codes anchored to a deformable mesh, so that the observations across frames can be naturally integrated. The deformable mesh also provides geometric guidance for the network to learn 3D representations more efficiently. To evaluate our approach, we create a multi-view dataset named ZJU-MoCap that captures performers with complex motions. Experiments on ZJU-MoCap show that our approach outperforms prior works by a large margin in terms of novel view synthesis quality. We also demonstrate the capability of our approach to reconstruct a moving person from a monocular video on the People-Snapshot dataset. The code and dataset are available at https://zju3dv.github.io/neuralbody/.

研究の動機と目的

• 非常にスパースなマルチビュー動画からの新規視点再構築という、不適切に定義された問題に対処すること。
• 時間的な観測を複数フレームにわたって統合することで、スパース観測下での3次元表現学習を改善すること。
• ポーズに応じて変形する形状を考慮した幾何学的ガイダンスを持つ暗黙的ニューラル表現を開発し、ポーズの変化に一般化可能で、高精度な幾何学的形状と外観を維持すること。
• マルチビュー設定を超えて、単眼RGB動画からの高品質な3次元再構築および視点合成を可能にすること。

提案手法

• Neural Body は、可動式の SMPL メッシュの頂点に一連の潜在コードを固定し、各フレームの人体ポーズに応じて空間的に変形する。
• 同じ潜在コードセットを用いて、すべての動画フレームで暗黙的3次元表現（密度および色）を生成し、時間的に統合された最適化を可能にする。
• 変形された潜在コードを用いて、任意の空間的位置における3次元シーン特性を推定するニューラルネットワークを構築し、微分可能な画像合成にボリュームレンダリングを適用する。
• 可動式メッシュが幾何的事前知識を提供することで、効率的な学習が可能となるように、すべての入力ビューにおけるボリュームレンダリング損失を用いてエンドツーエンドで訓練する。
• フレーム固有の変動を許容しつつ、フレーム間の一貫性を保つために、各フレームの潜在埋め込みを導入する。
• 潜在変数モデルの枠組みを活用することで、フレーム間の観測を効果的に統合し、スパースな状況下での曖昧性を低減する。

実験結果

リサーチクエスチョン

• RQ1 スパースな入力視点下でも、暗黙的ニューラル表現をフレーム間で効果的に共有することで、新規視点再構築の性能を向上させることができるか？
• RQ2 可動式人体モデルからの幾何的事前知識は、動的シーンにおける3次元暗黙的表現の学習をどのように向上させるか？
• RQ3 ポーズに応じて変形される1つの潜在コードセットが、多様な人体の動きや外観にどれほど一般化可能か？
• RQ4 提案手法は、3次元の教師信号が限られる単眼RGB動画からも、高品質な新規視点再構築を達成できるか？
• RQ5 時間的観測の統合は、3次元再構築および視点合成のロバスト性と品質にどのように影響を与えるか？

主な発見

• ZJU-MoCap データセットにおいて、6視点で学習した場合、Neural Body は 32.73 PSNR および 0.979 SSIM を達成し、先行手法を顕著に上回る。
• 単一視点で学習したモデルは 25.08 PSNR を達成し、4視点で学習した先行手法（23.12 PSNR）を上回る。
• より長い動画シーケンス（最大600フレーム、30.59 PSNR）で学習することで性能が向上するが、1200フレームでは学習の難易度が上昇し、わずかに性能が低下する。
• フレーム固有の潜在埋め込みを導入することで、PSNR が 0.53 ポints 向上（30.03 → 30.56）し、フレーム固有の詳細の重要性が示された。
• People-Snapshot 単眼データセットでは、Neural Body は、特にゆったりした服の外観詳細において、先行手法よりもより正確に再構築している。
• 定性的な結果から、複雑な照明条件下でも一貫性のある髪の毛の形状回復や、正確な服の変形を再現する優れた幾何的詳細回復が確認された。