[논문 리뷰] HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

Keunhong Park, Utkarsh Sinha외 6명|arXiv (Cornell University)|2021. 06. 24.

Advanced Vision and Imaging참고 문헌 45인용 수 81

한 줄 요약

HyperNeRF는 고차원 환경 공간과 변형 가능한 슬라이스를 통해 동적 장면의 위상 변화를 모델링하며, 순간 간 보간 및 새로운 시점 합성을 개선합니다.

ABSTRACT

Neural Radiance Fields (NeRF) are able to reconstruct scenes with unprecedented fidelity, and various recent works have extended NeRF to handle dynamic scenes. A common approach to reconstruct such non-rigid scenes is through the use of a learned deformation field mapping from coordinates in each input image into a canonical template coordinate space. However, these deformation-based approaches struggle to model changes in topology, as topological changes require a discontinuity in the deformation field, but these deformation fields are necessarily continuous. We address this limitation by lifting NeRFs into a higher dimensional space, and by representing the 5D radiance field corresponding to each individual input image as a slice through this "hyper-space". Our method is inspired by level set methods, which model the evolution of surfaces as slices through a higher dimensional surface. We evaluate our method on two tasks: (i) interpolating smoothly between "moments", i.e., configurations of the scene, seen in the input images while maintaining visual plausibility, and (ii) novel-view synthesis at fixed moments. We show that our method, which we dub HyperNeRF, outperforms existing methods on both tasks. Compared to Nerfies, HyperNeRF reduces average error rates by 4.1% for interpolation and 8.6% for novel-view synthesis, as measured by LPIPS. Additional videos, results, and visualizations are available at https://hypernerf.github.io.

연구 동기 및 목표

• 연속 변형을 넘어서는 동적 장면의 위상 변이를 다루는 것.
• 템플릿 NeRF를 나타내기 위해 고차원(ambient) 공간을 활용하는 것.
• 장면 순간 간의 매끄러운 보간과 고품질의 새로운 시점 합성을 가능하게 하는 것.
• 변형 가능한 슬라이스(surface)로 위상 변화를 효율적으로 표현하는 것을 촉진하는 것.

제안 방법

• 각 관측 프레임을 초공간 NeRF(HyperNeRF)에서의 비평면 슬라이스로 표현한다.
• 템플릿 NeRF를 (x, w)로 구성된 고차원 도메인으로 확장한다. W개의 환경 차원으로.
• 공간 점을 환경 좌표에 매핑하기 위해 변형 가능한 슬라이스 표면 H(x, ωi)를 사용하여 위상 변화를 가능하게 한다.
• 변형 T(x, ωi)와 슬라이스 H를 MLP와 잠재 코드 ωi(변형) 및 ψi(외관/appearance)로 매개화한다.
• 환경 좌표에 창(windowed) 위치 인코딩을 적용하여 환경 차원의 사용을 분산시키고 최적화를 안정화한다.
• L2 포토메트릭 손실로 엔드투엔드 학습을 수행하고, 거친-에서 미세한 윈도우드 인코딩 스케줄과 표준 NeRF 렌더링을 사용한다.

실험 결과

연구 질문

• RQ1 변형 가능한 슬라이스를 갖는 고차원 환경 공간이 동적 NeRF 장면에서 위상 변화를 포착할 수 있는가?
• RQ2 HyperNeRF가 관찰된 장면 순간 간의 보간을 더 잘 수행하고 고정된 순간에서의 새로운 시점 합성을 개선하는가?
• RQ3 NeRF에서 위상 변화를 나타내는 데 있어 변형 가능한 슬라이스가 축 정렬 슬라이스와 비교해 어떤 차이가 있는가?

주요 결과

• HyperNeRF는 보간 및 새로운 시점 합성 작업에서 이전 방법들보다 분명하고 고품질의 렌더링을 더 적은 인공물로 달성한다.
• Nerfies와 비교하여, HyperNeRF는 보간에서 평균 오류율을 4.1%, LPIPS 기반의 새로운 시점 합성에서 8.6% 감소시킨다.
• 변형 가능한 슬라이스 표면(DS)을 사용하면 축 정렬 평면(AP)보다 재구성 품질이 더 좋고 상태 보간이 더 매끄럽다.
• 윈도우 인코딩을 통한 환경 차원 사용 지연은 최적화의 안정성을 높이고 환경 좌표에 대한 조기 의존성을 피한다.
• HyperNeRF는 단안 비디오로부터 깊이 센서 없이 위상 변화를 보이는 장면의 포토리얼리스틱 자유시점 렌더링을 재구성할 수 있다.