[논문 리뷰] NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields

Xiaoxue Chen, Junchen Liu외 3명|arXiv (Cornell University)|2023. 09. 22.

Advanced Vision and Imaging인용 수 4

한 줄 요약

NeRRF는 투명하고 반사성 물체의 3D 재구성 및 새로운 시점 합성에 대해 오직 물체의 실루엣만을 사용하는 이중 단계 신경 렌더링 프레임워크를 제안한다. 기하 구조 재구성에 대해 점진적 인코딩 전략을 적용한 미분 가능 마arching 테트라헤드론을 활용하며, 물리 기반 레이 트레이싱과 프레넬 기반 굴절 및 반사 모델링을 통합하여, 실루엣 마스크의 잡음에 대해 강건하고도 최신 기술 수준의 시점 합성 품질을 달성한다.

ABSTRACT

Neural radiance fields (NeRF) have revolutionized the field of image-based view synthesis. However, NeRF uses straight rays and fails to deal with complicated light path changes caused by refraction and reflection. This prevents NeRF from successfully synthesizing transparent or specular objects, which are ubiquitous in real-world robotics and A/VR applications. In this paper, we introduce the refractive-reflective field. Taking the object silhouette as input, we first utilize marching tetrahedra with a progressive encoding to reconstruct the geometry of non-Lambertian objects and then model refraction and reflection effects of the object in a unified framework using Fresnel terms. Meanwhile, to achieve efficient and effective anti-aliasing, we propose a virtual cone supersampling technique. We benchmark our method on different shapes, backgrounds and Fresnel terms on both real-world and synthetic datasets. We also qualitatively and quantitatively benchmark the rendering results of various editing applications, including material editing, object replacement/insertion, and environment illumination estimation. Codes and data are publicly available at https://github.com/dawning77/NeRRF.

연구 동기 및 목표

• 굴절과 반사로 인한 복잡한 빛의 경로 변화로 인해 모델링이 어려운 투명하고 반사성 물체의 3D 재구성 및 시점 합성 문제를 해결하기 위해.
• 직선 레이를 가정하는 표준 NeRF의 한계를 극복하여 비-라운드베르티안 표면에서의 성능을 향상시키기 위해.
• RGB 데이터나 깊이 센서에 의존하지 않고 오직 물체 실루엣만으로 기하 구조를 재구성하는 방법을 개발하기 위해.
• 신경 레이디언스 필드 내에서 통합된 프레넬 기반 공식화를 통해 굴절 및 반사의 물리적 정확한 렌더링을 가능하게 하기 위해.
• 재질 편집, 재조명, 환경 조명 추정과 같은 후속 응용 프로그램을 지원하기 위해.

제안 방법

• 진행적 인코딩 전략을 통해 오직 실루엣에서 3D 기하 구조를 재구성하기 위해, 미분 가능한 렌더링을 적용한 딥 마칭 테트라헤드론(DMTet)을 사용한다.
• 암시적 표면 표현을 최적화하기 위해 마스크 재구성 기반 손실과 아이코날 정규화를 적용한다.
• 스넬의 법칙과 반사 방정식을 사용하여 비직선 레이 경로를 모델링하는 신경 굴절-반사 필드(NeRRF)를 도입한다.
• 표면 재질 특성에 기반하여 반사 및 굴절을 통합적으로 모델링하기 위해 프레넬 항목을 통합한다.
• 다양한 방향 분포에 걸쳐 레이디언스를 평균화하여 에이리어징을 줄이고 렌더링의 부드러움을 향상시키기 위해 가상의 콘 초해상도 샘플링 기법을 적용한다.
• 렌더링된 마스크 및 시점 합성 손실에서 기울기를 역전파하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 굴절과 반사로 인해 발생하는 비직선 레이 경로를 처리할 수 있도록 신경 레이디언스 필드를 확장할 수 있는가?
• RQ2 RGB나 깊이 감독 없이 오직 실루엣만으로 비-라운드베르티안 물체의 3D 기하 구조를 재구성할 수 있는가?
• RQ3 통합된 프레넬 기반 공식화가 단일의 미분 가능한 렌더링 프레임워크 내에서 반사와 굴절을 얼마나 잘 모델링할 수 있는가?
• RQ4 가상의 콘 초해상도 샘플링은 매우 시점 의존적인 표면에서 에이리어징 아티팩트를 얼마나 효과적으로 줄이는가?
• RQ5 NeRRF는 실제 세계의 투명하고 반사성 물체에서 재질 편집, 재조명, 환경 조명 추정과 같은 실용적 편집 작업을 지원할 수 있는가?

주요 결과

• NeRRF는 합성 및 실제 세계 데이터셋 모두에서 최신 기술 수준의 새로운 시점 합성 성능을 달성하였으며, 기준 방법 대비 최대 1.8 dB의 PSNR 향상을 보였다.
• 절단 분석 결과, 진행적 인코딩 전략은 비진행적 학습 대비 카프먼 거리 최대 15% 감소를 이끌어내어 표면의 매끄러움을 향상시켰다.
• 가상의 콘 초해상도 샘플링은 모든 시나리오에서 LPIPS 최대 0.025 감소 및 PSNR 0.8–1.5 dB 향상으로 표면 노이즈를 크게 감소시켰다.
• 실제 세계 데이터셋에서, Apple의 컷아웃 툴로 생성된 완벽하지 않은 마스크에도 불구하고 NeRRF는 투명 물체를 성공적으로 재구성하고 렌더링하여 강건성을 입증하였다.
• 이 방법은 고해상도 재조명 및 재질 편집을 가능하게 하였으며, 예를 들어 말의 표면를 반사성에서 굴절성으로 변경해도 물리적으로 일관된 렌더링 결과를 도출하였다.
• qualitative 결과에서 오직 공의 반사만을 사용하여도 주변 조명의 레이디언스 추정이 정확하게 이루어지는 것으로 나타나, NeRRF는 반사만으로도 환경 레이디언스 추정을 정확히 수행할 수 있음을 보여주었다.