[논문 리뷰] NeReF: Neural Refractive Field for Fluid Surface Reconstruction and Implicit Representation

Ziyu Wang, Wei Yang외 4명|arXiv (Cornell University)|2022. 03. 08.

Advanced Vision and Imaging인용 수 4

한 줄 요약

NeReF는 3차원 좌표에서 부피 밀도 및 법선 필드를 학습하여 유체 표면을 암묵적으로 표현하는 신경 굴절장(Neural Refractive Field)을 제안한다. 이는 정확한 굴절 고려 렌더링과 고해상도 표면 복원을 가능하게 하며, 스넬의 법칙을 직접적으로 모델링함으로써 NeRF 및 레이 트레이싱 기반 방법보다 우수한 성능을 발휘한다. 희소한 다중 시점 입력과 광학 흐름의 노이즈가 있는 조건에서도 강력한 결과를 도출한다.

ABSTRACT

Existing neural reconstruction schemes such as Neural Radiance Field (NeRF) are largely focused on modeling opaque objects. We present a novel neural refractive field(NeReF) to recover wavefront of transparent fluids by simultaneously estimating the surface position and normal of the fluid front. Unlike prior arts that treat the reconstruction target as a single layer of the surface, NeReF is specifically formulated to recover a volumetric normal field with its corresponding density field. A query ray will be refracted by NeReF according to its accumulated refractive point and normal, and we employ the correspondences and uniqueness of refracted ray for NeReF optimization. We show NeReF, as a global optimization scheme, can more robustly tackle refraction distortions detrimental to traditional methods for correspondence matching. Furthermore, the continuous NeReF representation of wavefront enables view synthesis as well as normal integration. We validate our approach on both synthetic and real data and show it is particularly suitable for sparse multi-view acquisition. We hence build a small light field array and experiment on various surface shapes to demonstrate high fidelity NeReF reconstruction.

연구 동기 및 목표

• 이미지 내 굴절 왜곡을 통해 투명한 유체 표면을 복원하는 데 있어 기존 방법들이 광선 경로의 복잡성으로 인해 어려움을 겪는 문제를 해결하기 위해.
• 유체 표면 기하학(밀도 및 법선)과 굴절 행동을 동시에 인코딩하는 신경 암묵적 표현을 개발하여, 명시적 깊이/법선 맵 표현 방식의 한계를 극복하기 위해.
• 학습된 법선 및 밀도 필드를 통해 직접 굴절 효과를 통합함으로써, 굴절 패턴의 고해상도 및 시점 일致성 있는 신규 뷰 합성 가능하도록 하기 위해.
• 실제 대규모 데이터셋에 의존하지 않고, 광학 흐름 대응 관계를 활용하여 각 시점별로 자율학습하는 방식으로 모델 최적화를 수행하기 위해.
• 소규모 라이트 필드 어레이를 사용하여 합성 및 실세계 유체 표면 복원에 대해 강건성과 확장성을 입증하기 위해.

제안 방법

• NeReF는 3차원 좌표에서 부피 밀도 및 표면 법선으로 매핑하는 완전 연결 신경망을 사용하여 유체 표면을 연속적인 함수로 표현한다.
• 누적된 굴절 지점과 경로 상의 법선을 기반으로 스넬의 법칙을 적용하여 쿼리 광선을 굴절시킴으로써 물리적으로 정확한 굴절 시뮬레이션을 가능하게 한다.
• 기준 패턴 이미지와 유체 하에서 왜곡된 뷰 간의 광학 흐름 대응 관계를 활용하여 자율학습을 수행한다.
• 학습된 밀도 및 법선 필드의 체적 통합을 통해 렌더링을 수행함으로써, 명시적 깊이 또는 법선 맵 없이 직접 굴절된 이미지를 렌더링할 수 있다.
• 기하학적 정밀도를 유지하기 위해 사후 처리 단계에서 체적 통합을 통해 명시적 깊이 및 법선 맵을 복원한다.
• 실제 대규모 실세계 데이터셋이 필요 없도록, 각 시점별로 종합적으로 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 신경 암묵적 필드가 부피 밀도 및 유체 표면의 법선을 효과적으로 표현하여 정확한 굴절 모델링을 가능하게 할 수 있는가?
• RQ2 NeReF는 전통적인 레이 트레이싱 또는 NeRF 기반 방법 대비 희소한 다중 시점 획득 데이터에서 유체 표면 복원 성능이 어떻게 되는가?
• RQ3 자기학습에 사용되는 광학 흐름 대응 관계의 노이즈에 대해 NeReF는 어느 정도 강건한가?
• RQ4 학습된 법선 및 밀도를 통해 직접 굴절 효과를 모델링함으로써 NeReF는 고해상도의 높은 정확도를 가진 새로운 뷰를 합성할 수 있는가?
• RQ5 입력 카메라의 수가 NeReF의 유체 표면 기하학 복원 정확도에 어떤 영향을 미치는가?

주요 결과

• NeReF는 NeRF 및 레이 트레이싱 기반 기준보다 유의미하게 낮은 복원 오차를 기록하며, 9대의 카메라로는 깊이 RMSE 0.02252미터, 3대의 카메라로는 0.05683미터를 기록한다.
• 평균 법선 각도 차이가 9대 카메라일 때 0.28477°에서 3대 카메라일 때 0.84187°로 증가함으로써, 더 많은 시점이 기하학적 정확도를 향상시킨다는 것을 확인한다.
• NeReF는 광학 흐름 노이즈에 강건하며, 오차가 지수적 감소가 아닌 선형 증가를 보이며 안정적인 최적화를 보여준다.
• NeReF가 생성한 새로운 뷰는 정답과 매우 유사하며, 잘못된 광선 기하학으로 실패하는 원본 NeRF 및 명시적 깊이/법선 맵에서의 레이 트레이싱(편향 존재)보다 우수한 성능을 보인다.
• NeReF는 다양한 시점에서 왜곡된 패턴을 고해상도로 재렌더링할 수 있으며, 왜곡이 각 시점에 따라 정확하게 변화함을 확인할 수 있다.
• NeReF 모델은 작고(~4MB) 고해상도 응용에 적합한 해결책으로서, 필요에 따라 해상도를 조절할 수 있는 렌더링을 지원한다.