[논문 리뷰] Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild

Chung-Yi Weng, Brian Curless외 1명|arXiv (Cornell University)|2020. 12. 23.

Human Pose and Action Recognition참고 문헌 41인용 수 22

한 줄 요약

Vid2Actor는 단일 비구조화된 영상에서 자유시점으로 렌더링할 수 있고 애니메이션 가능한 3D 인간 볼륨을 복원하기 위한 자기지도 학습 딥러닝 방법을 제안한다. 표준 RGBα 볼륨과 자세에 따라 달라지는 운동 가중치를 학습함으로써, 3D 지도 데이터 없이도 고품질의 새로운 자세와 시점 합성을 가능하게 하며, 최소한의 잡음으로 다양한 실제 영상에서 운동 리타겟팅과 블러드타임 렌더링을 구현한다.

ABSTRACT

Given an "in-the-wild" video of a person, we reconstruct an animatable model of the person in the video. The output model can be rendered in any body pose to any camera view, via the learned controls, without explicit 3D mesh reconstruction. At the core of our method is a volumetric 3D human representation reconstructed with a deep network trained on input video, enabling novel pose/view synthesis. Our method is an advance over GAN-based image-to-image translation since it allows image synthesis for any pose and camera via the internal 3D representation, while at the same time it does not require a pre-rigged model or ground truth meshes for training, as in mesh-based learning. Experiments validate the design choices and yield results on synthetic data and on real videos of diverse people performing unconstrained activities (e.g. dancing or playing tennis). Finally, we demonstrate motion re-targeting and bullet-time rendering with the learned models.

연구 동기 및 목표

• 3D 지도 데이터나 사전 레이어링된 모델이 필요 없이, 자유시점으로 애니메이션 가능한 3D 인간 생성을 가능하게 하는 것.
• 제한적이고 다양한, 校정되지 않은 데이터를 가진 단일 영상으로부터 새로운 자세와 시점을 합성하는 데 도전하는 것.
• 이미지 관측만을 사용하여 다양한 신체 자세와 카메라 시점으로 일반화 가능한 자기지도 학습 프레임워크를 개발하는 것.
• 학습된 3D 표현을 활용하여 운동 리타겟팅과 블러드타임 렌더링 등의 실용적 응용을 보여주는 것.

제안 방법

• 이 방법은 사람을 학습된 표준 RGBα 볼륨과 자세에 따라 달라지는 체적 운동 가중치의 조합으로 표현하여, 새로운 자세와 시점으로의 재투영을 가능하게 한다.
• 딥 뉴럴 네트워크는 영상 프레임을 엔드 투 엔드로 학습하여 표준 볼륨과 운동 가중치를 예측하며, L1, 인지적, 적대적 손실의 조합을 사용한다.
• 프레임워크는 이전의 볼륨 기반 NVS 방법의 아이디어를 응용하여, 저해상도 입력에서 고해상도 3D 기하 구조를 재구성하기 위해 볼륨 왜곡을 활용한다.
• 모델은 3D 메쉬, SMPL 파라미터, 다중 시점 校정 등의 지도 데이터가 필요 없이 영상 프레임만으로 자기지도 학습 방식으로 학습된다.
• 학습된 운동 가중치를 표준 볼륨에 적용함으로써 자세와 카메라 각도에 대한 명시적 제어가 가능해진다.
• 운동 리타겟팅과 블러드타임 렌더링을 위해 3D 인간 자세 추정 결과를 입력으로 사용하며, 카메라 경로를 주제를 중심으로 돌려서 렌더링한다.

실험 결과

연구 질문

• RQ1 3D 지도 데이터나 사전 레이어링된 모델이 없이 단일 비구조화된 영상에서 3D 인간 표현을 학습할 수 있는가?
• RQ2 자기지도 네트워크가 학습 중에 보지 못한 새로운 자세와 시점으로 얼마나 잘 일반화되는가?
• RQ3 학습된 체적 표현이 명시적인 3D 재구성 없이도 고품질의 운동 리타겟팅과 블러드타임 렌더링을 지원할 수 있는가?
• RQ4 비구조화된 영상에서 자유시점 합성을 위해 가장 효과적인 손실 함수는 무엇인가?
• RQ5 입력 영상의 자세와 시점의 다양성이 재구성된 3D 모델의 품질에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 다양한 실제 영상, 예를 들어 춤추는 장면과 테니스를 치는 장면에서 조건이 엄격한 경우에도 300 프레임 정도로도 고품질의 새로운 시점과 자세 합성을 달성한다.
• 인지적 손실이 얼굴과 신체 세부 정보의 렌더링 품질을 크게 향상시키며, 정성적 분석에서 이를 입증한다.
• 모션 캡처 데이터를 학습된 모델에 적용함으로써 효과적인 운동 리타겟팅이 가능해지며, 다양한 자세에서 현실적인 애니메이션을 구현할 수 있다.
• 예측된 3D 자세를 기반으로 카메라를 주제를 중심으로 돌리는 방식으로 블러드타임 렌더링을 성공적으로 달성하였으며, 비 frontal 및 복잡한 자세에서 PIFu와 PIFuHD를 능가한다.
• 학습되지 않은 구성으로도 잘 일반화되며, 입력 영상의 길이와 자세의 다양성이 증가할수록 결과가 향상된다.
• 자세에 따른 외관 변화와 반사 효과 처리의 한계가 있음에도 불구하고, 다양한 시점과 자세에서 재구성 결과는 타당하고 시각적으로 설득력 있다.