[논문 리뷰] HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video

Chung-Yi Weng, Brian Curless외 3명|arXiv (Cornell University)|2022. 01. 11.

Advanced Vision and Imaging인용 수 5

한 줄 요약

HumanNeRF는 단일 단안 영상에서 캐논컬 T자세의 부피 표현을 학습하고 이를 후방 왜곡을 통해 각 프레임으로 매핑하는 운동장(field)을 통해 움직이는 인간의 자유 시점 렌더링을 가능하게 한다. 이 방법은 정량적 지표와 시각적 품질 측면에서 최신 기술 수준의 성능을 달성하며, 특히 새로운 시점에서의 옷 주름과 얼굴 외형 같은 미세한 디테일을 잘 포착한다.

ABSTRACT

We introduce a free-viewpoint rendering method -- HumanNeRF -- that works on a given monocular video of a human performing complex body motions, e.g. a video from YouTube. Our method enables pausing the video at any frame and rendering the subject from arbitrary new camera viewpoints or even a full 360-degree camera path for that particular frame and body pose. This task is particularly challenging, as it requires synthesizing photorealistic details of the body, as seen from various camera angles that may not exist in the input video, as well as synthesizing fine details such as cloth folds and facial appearance. Our method optimizes for a volumetric representation of the person in a canonical T-pose, in concert with a motion field that maps the estimated canonical representation to every frame of the video via backward warps. The motion field is decomposed into skeletal rigid and non-rigid motions, produced by deep networks. We show significant performance improvements over prior work, and compelling examples of free-viewpoint renderings from monocular video of moving humans in challenging uncontrolled capture scenarios.

연구 동기 및 목표

• 단일 단안 영상에서 조건이 제한되지 않은 실제 환경에서도 움직이는 인간의 자유 시점 렌더링을 가능하게 하는 것.
• 다중 시점 입력, 통제된 실험실 환경, 또는 SMPL 기반 템플릿이 필요한 이전 방법의 한계를 극복하는 것.
• 정확한 기하학, 텍스처, 그리고 옷 주름, 얼굴 외형 같은 동적 디테일을 포함한 고해상도의 새로운 시점 렌더링을 생성하는 것.
• 사전 정의된 신체 모델이나 수동 3D 감독 없이 영상에서부터 캐논컬 인간 외형과 운동장(field)을 종합적으로 학습하는 것.
• 다양하고 도전적인 실외 영상(예: YouTube 및 자가 촬영 영상 포함)에서도 안정적인 성능을 발휘하는 것.

제안 방법

• 메서드는 단안 영상에서 프레임별 분할 및 3D 자세 추정을 통해 캐논컬 부피 표현을 최적화하여 인간의 T자세 표현을 학습한다.
• 후방 왜곡을 사용하여 캐논컬 볼륨을 각 영상 프레임으로 매핑하는 운동장(field)을 학습하며, 뼈대의 강성 및 비강성 성분으로 분해된다.
• 운동장(field)은 깊이 신경망을 통해 부피 오프셋을 예측하며, 강성(뼈대 기반)과 비강성(변형 가능한) 운동에 대해 별도의 네트워크를 사용한다.
• 캐논컬 볼륨과 운동장(field)은 3D 자세 보정과 함께 중요도 샘플링을 사용하여 종합적으로 학습되며, 분할 마스크에 기반해 배경 픽셀보다 전경 픽셀을 우선시한다.
• 모든 카메라 각도에서 일시정지된 프레임에서 새로운 시점 렌더링을 위해 다중 해상도 NeRF 기반 렌더러를 사용한다.
• 학습은 L1 및 인지적(LPIPS) 손실을 포함하는 유연한 렌더링 파이프라인을 사용하며, 최적화의 안정성을 확보하기 위해 가중치 초기화를 신중히 설정한다.

실험 결과

연구 질문

• RQ1 움직이는 인간의 단일 단안 영상로 임의의 카메라 각도에서 사진 수준의 새로운 시점 렌더링을 생성할 수 있는가?
• RQ2 SMPL 또는 기타 매개변수 기반 신체 모델에 의존하지 않고 캐논컬 부피 표현을 학습할 수 있는가?
• RQ3 학습된 운동장(field)이 복잡한 동작에서 옷이나 머리카락의 큰 비강성 변형을 얼마나 잘 포착할 수 있는가?
• RQ4 이 방법은 YouTube나 자가 촬영 영상 등 통제되지 않은 실외 영상에도 일반화 가능한가?
• RQ5 시퀀스 길이와 자세 다양성이 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• ZJU-MoCap 데이터셋에서 HumanNeRF는 주제 390에서 PSNR 30.52, SSIM 0.9682, LPIPS 33.88을 기록하여 모든 지표에서 NeuralBody를 초월한다.
• 동일한 데이터셋에서 HumanNeRF는 주제 390에서 LPIPS 점수 33.88을 기록하여 NeuralBody의 52.12보다 유의미하게 낮아, 더 뛰어난 인지적 품질을 보여준다.
• 동일한 데이터셋에서 HumanNeRF는 주제 313에서 PSNR 29.421, SSIM 0.9672를 기록하여 NeuralBody의 29.417 및 0.9635를 뛰어넘는다.
• 시퀀스 길이에 대한 분석 결과, 성능이 112 프레임 이상에서 정점에 도달함(PSNR 31.01)함을 보여주며, 자세 다양성이 화면 수보다 더 중요함을 시사한다.
• 시각적 비교 결과, HumanNeRF는 새로운 시점에서 옷 주름과 얼굴 특징 같은 미세한 디테일을 잘 포착하는 반면, NeuralBody는 뿌연 결과를 낳는다.
• 이 방법은 자가 촬영 영상 및 YouTube 클립에 대해 캐논컬 외형을 성공적으로 재구성하며, 그림 18에서 실외 데이터에 대한 일반화 능력을 입증한다.