[論文レビュー] A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose

Shih-Yang Su, Frank Yu+2 more|arXiv (Cornell University)|Feb 11, 2021

Human Motion and Animation被引用数 92

ひとこと要約

提供されたテキストはNeurIPS形式の指示であり、A-NeRF論文の内容ではないため、方法論や実験の詳細は利用できません。

ABSTRACT

While deep learning reshaped the classical motion capture pipeline with feed-forward networks, generative models are required to recover fine alignment via iterative refinement. Unfortunately, the existing models are usually hand-crafted or learned in controlled conditions, only applicable to limited domains. We propose a method to learn a generative neural body model from unlabelled monocular videos by extending Neural Radiance Fields (NeRFs). We equip them with a skeleton to apply to time-varying and articulated motion. A key insight is that implicit models require the inverse of the forward kinematics used in explicit surface models. Our reparameterization defines spatial latent variables relative to the pose of body parts and thereby overcomes ill-posed inverse operations with an overparameterization. This enables learning volumetric body shape and appearance from scratch while jointly refining the articulated pose; all without ground truth labels for appearance, pose, or 3D shape on the input videos. When used for novel-view-synthesis and motion capture, our neural model improves accuracy on diverse datasets. Project website: https://lemonatsu.github.io/anerf/ .

研究の動機と目的

• 提供元がNeurIPSのフォーマット指示に焦点を当てており、A-NeRF論文に関するものではないため、利用不可。
• 提供されたテキストからは実際の論文の研究目的を抽出できません。
• 内容にはA-NeRFの目標や動機は含まれていません。

提案手法

• 提供元からは利用不可；テキストは研究方法ではなくフォーマットガイドラインを含みます。
• 提供された内容にはA-NeRFの核となる方程式や手法は含まれていません。
• 与えられた資料からアーキテクチャやトレーニングの詳細を抽出できません。

実験結果

リサーチクエスチョン

• RQ1 提供されたフォーマット指示から具体的な研究質問を特定できません。
• RQ2 A-NeRFに関連する実験的または理論的な質問は提供されていません。

主な発見

• 提供されたテキストがフォーマットガイドラインであり、論文の内容ではないため、報告できる発見はありません。