[논문 리뷰] A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose

Shih-Yang Su, Frank Yu외 2명|arXiv (Cornell University)|2021. 02. 11.

Human Motion and Animation인용 수 92

한 줄 요약

제공된 텍스트는 NeurIPS 형식 지침이며 A-NeRF 논문 내용이 아니므로 방법론적 또는 실험적 세부 정보가 제공되지 않습니다.

ABSTRACT

While deep learning reshaped the classical motion capture pipeline with feed-forward networks, generative models are required to recover fine alignment via iterative refinement. Unfortunately, the existing models are usually hand-crafted or learned in controlled conditions, only applicable to limited domains. We propose a method to learn a generative neural body model from unlabelled monocular videos by extending Neural Radiance Fields (NeRFs). We equip them with a skeleton to apply to time-varying and articulated motion. A key insight is that implicit models require the inverse of the forward kinematics used in explicit surface models. Our reparameterization defines spatial latent variables relative to the pose of body parts and thereby overcomes ill-posed inverse operations with an overparameterization. This enables learning volumetric body shape and appearance from scratch while jointly refining the articulated pose; all without ground truth labels for appearance, pose, or 3D shape on the input videos. When used for novel-view-synthesis and motion capture, our neural model improves accuracy on diverse datasets. Project website: https://lemonatsu.github.io/anerf/ .

연구 동기 및 목표

• 제공된 소스가 NeurIPS 형식 지침에 집중하고 있어 A-NeRF 논문으로부터의 목표를 식별할 수 없습니다.
• 제공된 텍스트에서 실제 논문의 연구 목표를 추출할 수 없습니다.
• 내용에 A-NeRF의 목표나 동기가 포함되어 있지 않습니다.

제안 방법

• 제공된 소스에서 확인할 수 없습니다; 텍스트는 연구 방법이 아니라 형식 지침을 포함하고 있습니다.
• 제공된 내용에 A-NeRF의 핵심 방정식이나 기법은 포함되어 있지 않습니다.
• 주어진 자료에서 아키텍처나 학습 세부 정보를 추출할 수 없습니다.

실험 결과

연구 질문

• RQ1 제공된 형식 지침으로부터 구체적인 연구 질문을 결정할 수 없습니다.
• RQ2 A-NeRF와 관련된 실험적 또는 이론적 질문은 제공되지 않았습니다.

주요 결과

• 제공된 텍스트가 형식 지침이므로 논문 내용이 아니므로 어떤 발견도 보고할 수 없습니다.