[논문 리뷰] SelfNeRF: Fast Training NeRF for Human from Monocular Self-rotating Video

Bo Peng, Jun Hu외 2명|arXiv (Cornell University)|2022. 10. 04.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SelfNeRF는 표면 기반의 다중 해상도 해시 인코딩을 활용하여 ~20분 내에 훈련을 완료하는 빠르고 단일 시야에서의 인간 동작 렌더링을 위한 신경 렌디언스 필드(NeRF) 기반의 새로운 시야 합성 방법을 제안한다. 재구성된 인간 표면에서 K-가까운 이웃 점과 부호 거리 정보를 통해 프레임 간 기하학적 일致성을 활용함으로써, 다중 시야 입력이나 장시간 훈련 없이도 고해상도 결과를 달성한다.

ABSTRACT

In this paper, we propose SelfNeRF, an efficient neural radiance field based novel view synthesis method for human performance. Given monocular self-rotating videos of human performers, SelfNeRF can train from scratch and achieve high-fidelity results in about twenty minutes. Some recent works have utilized the neural radiance field for dynamic human reconstruction. However, most of these methods need multi-view inputs and require hours of training, making it still difficult for practical use. To address this challenging problem, we introduce a surface-relative representation based on multi-resolution hash encoding that can greatly improve the training speed and aggregate inter-frame information. Extensive experimental results on several different datasets demonstrate the effectiveness and efficiency of SelfNeRF to challenging monocular videos.

연구 동기 및 목표

• 단일 시야의 자가 회전 영상만을 사용하여 인간 동작의 빠르고 고해상도의 새로운 시야 합성을 가능하게 하는 것.
• 기존의 NeRF 기반 인간 재구성 방법이 종종 수시간이 소요되며 다중 시야 입력이 필요로 하는 장시간 훈련 문제를 해결하는 것.
• 이전에 정적 장면에 국한되어 있던 다중 해상도 해시 인코딩을 인간의 동적 형태로 확장하기 위해 표면 기반 표현을 도입함으로써 적용 범위를 넓히는 것.
• 훈련 시간을 수시간에서 20분 이내로 단축시켜 비전문가 사용자에게도 실용적인 접근성을 제공하는 것.

제안 방법

• 기본 인간 메시에서 K-가까운 이웃 점과 부호 거리를 계산하여 시간적 일관성을 인코딩하는 표면 기반 표현을 구축한다.
• 표면 기반 표현에 다중 해상도 해시 인코딩을 적용하여 NeRF 훈련을 가속화하면서도 기하학적 세부 정보를 유지한다.
• 각 광선에 대한 색상과 밀도 예측을 최적화하기 위해 볼륨 렌더링과 사진적 손실 및 기하학적 가이던스 손실을 사용한다.
• 사전에 재구성된 인간 표면 시퀀스(예: SelfRecon 또는 SMPL)를 활용하여 표현을 锚정하고 프레임 간 특징 통합을 가능하게 한다.
• KNN과 부호 거리를 계산하는 기본 공간을 정의함으로써 시간에 걸쳐 일관된 특징 학습이 가능하게 한다.
• 해시 인코딩된 표면 기반 특징에 조건부로 NeRF MLP를 적용하여 새로운 시야 합성을 위한 입사광 및 밀도를 예측한다.

실험 결과

연구 질문

• RQ1 단일 시야 입력에서 동적 인간 형태로 다중 해상도 해시 인코딩을 효과적으로 확장하여 NeRF 훈련을 가속화할 수 있는가?
• RQ2 단일 시야 환경에서 프레임 간 기하학적 일관성을 효율적으로 모델링하여 재구성 품질을 향상시킬 수 있는가?
• RQ3 표면 기반 표현이 표준 정점 기반 특징 학습보다 훈련 속도와 정확도 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 인간 표면 품질(예: SMPL 대비 SelfRecon)이 최종 렌더링 품질과 훈련 안정성에 미치는 영향은 어떠한가?

주요 결과

• SelfNeRF는 새로운 시야 합성에서 PSNR 25.49와 SSIM 0.873을 달성하여 NeuralBody와 AnimatableNeRF를 능가한다.
• 해당 방법는 약 20분 내에 수렴하여 기존 방법들이 수시간 이상 소요되는 것에 비해 뚜렷한 향상이 있다.
• 다중 해상도 해시 인코딩을 사용함으로써 정점 기반 특징 최적화 대비 훈련 시간을 최소 10배 이상 단축시켰다.
• 자세 추정이 불안정할 경우 SelfRecon에서 유도된 표면가 SMPL보다 더 나은 결과를 내는 것으로 나타났다. 이는 향상된 시간적 대응성 덕분이었다.
• 기하학적 가이던스 손실은 모드 붕괴를 방지하고 현실적인 인간형 형태로 수렴하는 데 기여한다.
• 정확한 SMPL 파라미터가 제공되더라도 SelfNeRF는 기존 방법들을 능가함으로써 강건성과 확장성을 입증한다.