[논문 리뷰] Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control

Lingjie Liu, Marc Habermann외 4명|arXiv (Cornell University)|2021. 06. 03.

3D Shape Modeling and Analysis참고 문헌 65인용 수 58

한 줄 요약

Neural Actor (NA)는 SMPL로 안내되는 정규 포즈 공간으로 신경 복사장을 변형하여 컨트롤 가능한 새로운 포즈를 통해 움직이는 인간 배우의 고품질 자유 시점 합성을 가능하게 하며, 텍스처 맵을 잠재 큐로 사용하여 포즈 의존적인 외관을 모델링합니다.

ABSTRACT

We propose Neural Actor (NA), a new method for high-quality synthesis of humans from arbitrary viewpoints and under arbitrary controllable poses. Our method is built upon recent neural scene representation and rendering works which learn representations of geometry and appearance from only 2D images. While existing works demonstrated compelling rendering of static scenes and playback of dynamic scenes, photo-realistic reconstruction and rendering of humans with neural implicit methods, in particular under user-controlled novel poses, is still difficult. To address this problem, we utilize a coarse body model as the proxy to unwarp the surrounding 3D space into a canonical pose. A neural radiance field learns pose-dependent geometric deformations and pose- and view-dependent appearance effects in the canonical space from multi-view video input. To synthesize novel views of high fidelity dynamic geometry and appearance, we leverage 2D texture maps defined on the body model as latent variables for predicting residual deformations and the dynamic appearance. Experiments demonstrate that our method achieves better quality than the state-of-the-arts on playback as well as novel pose synthesis, and can even generalize well to new poses that starkly differ from the training poses. Furthermore, our method also supports body shape control of the synthesized results.

연구 동기 및 목표

• 일상 의상에서 임의의 시점과 자세에서 인간의 고품질 자유 시점 합성을 유도한다.
• SMPL을 정규 공간 프록시로 사용하여 포즈로 인한 대형 변형을 다루는 기하 guided 변형 가능한 NeRF 프레임워크를 개발한다.
• 2D 텍스처 맵을 SMPL 표면의 잠재 변수로 도입하고 대립적 텍스처 선행을 통해 다이나믹한 기하/외관의 모호성을 해결한다.
• 포즈 제어 재생 및 새로운 포즈 합성을 가능하게 하고, 재 스캐닝 없이 배우의 형태를 조정한다.
• 다양한 시점의 밀집 카메라 기반의 새로운 인간 공연 데이터셋을 제공하고, 이전 방법에 비해 렌더링 품질의 개선을 시연한다.

제안 방법

• SMPL을 정규 공간 프록시로 사용하여 inverse skinning을 통해 점을 변형시키고 포즈 의존 잔류 변형을 학습한다.
• 변형된 점으로부터 색상과 밀도를 예측하는 NeRF 유사 네트워크로 정규 공간의 복사장을 표현한다.
• SMPL UV 맵에서 포즈 의존 텍스처 맵 Z를 예측하여 국부적 외관과 다이나믹 효과를 캡처하고, 보조 텍스처 특성 추출기 G(Z)를 둔다.
• 프레임 일관 텍스처를 생성하기 위해 이미지-대-이미지 변환 네트워크(노말 맵에서 텍스처 맵으로)로 텍스처 선행을 학습시키고, 대립적 손실로 평균 외관으로의 회귀를 방지한다.
• 텍스처 특성을 이용해 색상 예측을 조건화하고 정규 공간에서 빛과 기하 기반 광선 보행으로 렌더링한다.
• 텍스처 맵에 대한 대립적 손실을 도입하여 불확실성을 완화하고 포즈 의존적 디테일의 현실감을 향상시킨다.

실험 결과

연구 질문

• RQ1 SMPL 모델로 안내되는 기하 Guided 변형 가능한 NeRF가 새로운 포즈에서 자유롭게 움직이는 인간의 고충실도 새로운 시점을 합성할 수 있는가?
• RQ2 Inverse-skinned 정규 공간 변형으로 포즈를 조건화하는 것이 포즈 증가 NeRF에 비해 큰 신체 움직임의 처리를 개선하는가?
• RQ3 SMPL 표면에 정의된 2D 텍스처 맵이 포즈 의존 기하와 외관을 흐림 없이 효과적으로 모델링하는 잠재 변수로 작용하는가?
• RQ4 보지 못한 포즈에 일반화하고 신체 형상 변화를 지원하면서도 사진실성을 유지할 수 있는가?
• RQ5 추가 스캐닝이나 리깅 없이 배우의 형태를 조절하는 실용적인 형태 조작(예: 배우 크기 조정)을 가능하게 할 수 있는가?

주요 결과

• NA는 재생 및 새로운 포즈 합성 작업에서 최첨단 기준보다 더 높은 렌더링 품질을 달성한다.
• SMPL-guided 변형은 강체 스키닝과 비강체 잔류 변형을 분리함으로써 큰 움직임을 효율적으로 처리할 수 있게 한다.
• SMPL 표면의 텍스처 맵을 잠재 변수로 삼고 대립적 텍스처 선행을 통해 흐림 현상을 줄이고 포즈 의존적 국소 디테일을 포착한다.
• 이 접근 방식은 학습 포즈와 상당히 다른 새로운 포즈에도 일반화되며 자유 시점 합성을 위해 배우의 신체 재구성도 지원한다.
• 새로운 다중 시점 밀집 카메라 데이터셋이 수집되어 성능을 검증하는 데 사용되었고, 공개 데이터가 향후 제공될 예정이다.