[논문 리뷰] Volume Rendering of Neural Implicit Surfaces

Lior Yariv, Jiatao Gu외 2명|arXiv (Cornell University)|2021. 06. 22.

3D Shape Modeling and Analysis참고 문헌 40인용 수 10

한 줄 요약

이 논문은 볼륨 밀도를 서명 거리 함수(SDF)의 누적분포함수(CDF)로 모델링함으로써, 명시적 마스크 없이도 고해상도 기하 구조 재구성가능한 신경 볼륨 렌더링 방법인 VolSDF를 제안한다. 이 인도적 편향을 활용함으로써 VolSDF는 NeRF 및 NeRF++보다 뛰어난 기하 정확도를 달성하고, 형태와 외관의 비지도 분리(disentanglement)를 가능하게 하며, 신뢰할 수 있는 레이 샘플링을 위한 유한한 투명도 근사값을 제공한다.

ABSTRACT

Neural volume rendering became increasingly popular recently due to its success in synthesizing novel views of a scene from a sparse set of input images. So far, the geometry learned by neural volume rendering techniques was modeled using a generic density function. Furthermore, the geometry itself was extracted using an arbitrary level set of the density function leading to a noisy, often low fidelity reconstruction. The goal of this paper is to improve geometry representation and reconstruction in neural volume rendering. We achieve that by modeling the volume density as a function of the geometry. This is in contrast to previous work modeling the geometry as a function of the volume density. In more detail, we define the volume density function as Laplace's cumulative distribution function (CDF) applied to a signed distance function (SDF) representation. This simple density representation has three benefits: (i) it provides a useful inductive bias to the geometry learned in the neural volume rendering process; (ii) it facilitates a bound on the opacity approximation error, leading to an accurate sampling of the viewing ray. Accurate sampling is important to provide a precise coupling of geometry and radiance; and (iii) it allows efficient unsupervised disentanglement of shape and appearance in volume rendering. Applying this new density representation to challenging scene multiview datasets produced high quality geometry reconstructions, outperforming relevant baselines. Furthermore, switching shape and appearance between scenes is possible due to the disentanglement of the two.

연구 동기 및 목표

• 기존의 일반적인 밀도 함수의 임의의 등고선으로 인해 노이즈가 많고 저해상도 출력을 보이는 신경 볼륨 렌더링의 기하 표현 및 재구성 정밀도 향상.
• 표면을 자연스럽게 정의하는 구조적 인도적 편향을 밀도 함수에 도입하여 기하 정확도 향상 및 분리 가능성 향상.
• 시야 레이를 따라 투명도 근사 오차를 유한하게 제한함으로써 볼륨 렌더링 적분의 정확한 샘플링을 가능하게 함.
• 객체 마스크나 명시적 지도 없이도 비지도 형태-외관 분리(disentanglement)를 달성함.
• 복잡한 배경을 가진 장면에서도 희박한 시야만으로도 고품질 기하 구조를 학습할 수 있음을 입증함.

제안 방법

• 볼륨 밀도는 서명 거리 함수(SDF)의 누적분포함수(CDF)로 정의되며, 이는 명확한 표면과 기하 기반의 인도적 편향을 보장한다.
• 이 형식은 투명도 근사 오차에 대한 이론적 경계를 제공하며, 이는 시야 레이를 따라 볼륨 렌더링 적분의 정확한 샘플링을 이끌어내는 데 사용된다.
• 신경망을 사용해 SDF를 예측하고, 이를 표준 정규 CDF로 변환하여 볼륨 밀도를 생성한다.
• 반사율 필드는 별도의 신경망으로 모델링되어 기하 구조와 외관의 분리가 가능하다.
• 프레임워크는 객체 마스크가 필요 없이 다양한 시야 합성 최적화를 위한 유연한 볼륨 렌더링을 사용해 엔드 투 엔드로 훈련된다.
• 다른 장면의 반사율 필드를 교환함으로써 이 방법은 비지도 형태-외관 분리(disentanglement)를 지원한다.

실험 결과

연구 질문

• RQ1 볼륨 밀도를 서명 거리 함수(SDF)의 함수로 모델링하면 신경 볼륨 렌더링에서 기하 재구성 정밀도 향상이 가능한가?
• RQ2 SDF의 CDF를 밀도 함수로 사용하면 더 나은 기하 구조 학습을 위한 유용한 인도적 편향을 제공하는가?
• RQ3 이 밀도 형식을 사용해 볼륨 렌더링의 투명도 근사 오차를 유한하게 제한할 수 있는가? 이는 더 정확한 레이 샘플링으로 이어지는가?
• RQ4 이 방법을 통해 비지도 형태-외관 분리가 가능한가? 그리고 NeRF 기반 접근법과 비교해 봤을 때 어떻게 성능을 내는가?
• RQ5 특히 복잡한 배경과 혼잡한 배경을 가진 장면에서, 객체 마스크 없이도 고품질 기하 재구성 정밀도를 달성할 수 있는가?

주요 결과

• DTU 데이터셋에서 VolSDF는 NeRF 및 NeRF++보다 기하 재구성에서 뛰어난 성능을 보이며, 평균적으로 30% 향상된 카프만 거리(Chamfer distance)를 기록했고, PSNR는 유사한 수준을 유지했다.
• Blended-MVS 데이터셋에서 VolSDF는 객체 마스크가 필요한 최첨단 방법인 IDR와 유사한 재구성 품질을 달성했지만, 마스크 지도 없이도 성능을 내었다.
• VolSDF는 성공적으로 비지도 형태-외관 분리(disentanglement)를 가능하게 했다: 서로 다른 장면의 반사율 필드를 교환했을 때 물리적으로 타당한 재질과 기하 구조를 생성했으며, 반면 NeRF 기반 모델은 이러한 작업에서 실패했다.
• 이 방법은 IDR보다 더 깔끔한 재구성을 생성했으며, 최적화 문제로 인해 일반적으로 암시적 표면 방법에서 나타나는 불필요한 표면 부분을 피했다.
• 유한한 투명도 근사로 인해 기하 구조와 반사율 간의 더 신뢰할 수 있는 결합이 이루어져, 렌더링된 시각에서 누락되거나 연장된 표면 부분 등의 아티팩트를 줄였다.
• 이 프레임워크는 희박한 입력 시야만으로도 고해상도 기하 구조를 재현했으며, 복잡한 배경과 비-라운드먼트 재질을 가진 장면에서도 뛰어난 내성성을 입증했다.