[논문 리뷰] Volume Rendering Digest (for NeRF)

Andrea Tagliasacchi, Ben Mildenhall|arXiv (Cornell University)|2022. 08. 29.

Computer Graphics and Visualization Techniques인용 수 14

한 줄 요약

이 기술 보고서는 신경 렌디언스 필드(NeRF)에서의 볼륨 렌더링을 체계적으로 유도하고 형식화하며, 투과도와 투명도를 통한 미분 가능 렌더링의 수학적 기초를 확립한다. 확률적 투과도와 조각별로 일정한 밀도를 사용하여 핵심 NeRF 볼륨 렌더링 식을 유도하며, 재귀적 투과도와 알파 믹싱을 통한 색상 조합 방식을 보여준다.

ABSTRACT

Neural Radiance Fields employ simple volume rendering as a way to overcome the challenges of differentiating through ray-triangle intersections by leveraging a probabilistic notion of visibility. This is achieved by assuming the scene is composed by a cloud of light-emitting particles whose density changes in space. This technical report summarizes the derivations for differentiable volume rendering. It is a condensed version of previous reports, but rewritten in the context of NeRF, and adopting its commonly used notation.

연구 동기 및 목표

• 확률적 투과도를 사용하여 신경 렌디언스 필드(NeRF)에서 사용하는 볼륨 렌더링 과정을 형식화하기.
• 미분 방정식과 누적 분포 함수를 사용하여 원천에서부터 NeRF 렌더링 식을 유도하기.
• 볼륨 렌더링에서 투과도, 투명도, 알파 컴posit링 간의 관계를 수립하기.
• NeRF가 광선을 따라 적분하여 시점에 따라 달라지는 색상을 어떻게 계산하는지 수학적으로 엄밀하고 교육적인 설명 제공하기.
• 다양한 신호 처리 파ipeline에 적합한 방식으로 밀도, 투과도, 색상 적분 개념을 통합하기.

제안 방법

• 장면을 단위 거리당 광선-입자 상호작용 가능성을 나타내는 연속 밀도 필드 σ(x)로 모델링한다.
• 광선이 입자를 만날 수 없는 총 거리 t까지 도달할 확률로 정의된 투과도 T(t)를, 미분 방정식 T'(t) = -T(t)σ(t)로부터 유도한다.
• 투과도 방정식을 해결하여 T(a→b) = exp(−∫ₐᵇ σ(t)dt)를 도출하며, 이는 광선 세그먼트를 따라 생존 확률을 나타낸다.
• 볼륨 렌더링 적분식 C = ∫₀ᴰ T(t)σ(t)c(t)dt를 유도하며, 여기서 T(t)σ(t)는 t에서 정지할 확률 밀도이다.
• 밀도 σₙ과 간격 δₙ를 갖는 조각별로 일정한 세그먼트에 적용하여 C = Σₙ Tₙ(1−exp(−σₙδₙ))cₙ를 도출한다.
• 결과를 알파 컴posit링 가중치 αₙ = 1−exp(−σₙδₙ)를 사용하여 재표현하여 최종 NeRF 렌더링 식을 도출한다: C = Σₙ Tₙαₙcₙ, 여기서 Tₙ = ∏ᵢ₌₁ⁿ⁻¹(1−αᵢ).

실험 결과

연구 질문

• RQ1 NeRF에서 볼륨 렌더링는 어떻게 확률적 투과도와 가시성 원리로부터 형식적으로 유도할 수 있는가?
• RQ2 연속적인 볼륨 매체에서 밀도, 투과도, 투명도 간의 수학적 관계는 무엇인가?
• RQ3 밀도와 색상의 조각별로 일정한 근사가 NeRF에서 효율적이고 미분 가능한 렌더링를 가능하게 하는가?
• RQ4 정지 지점의 누적 분포 함수와 볼륨 렌더링에서의 투과도 함수 간의 관계는 무엇인가?
• RQ5 볼륨 렌더링 적분식은 어떻게 알파 컴posit링을 사용하여 재표현할 수 있으며, 이는 표준 그래픽스 렌더링 기법과 어떻게 일치하는가?

주요 결과

• 투과도 함수 T(a→b) = exp(−∫ₐᵇ σ(t)dt)는 광선의 생존 확률을 모델링하는 미분 방정식의 해로 도출된다.
• 광선이 거리 t에서 정지할 확률 밀도는 T(t)σ(t)로 주어지며, 이는 투과도와 밀도의 곱과 대응한다.
• 일정한 밀도 σₐ와 색상 cₐ를 갖는 균일한 매질에서는 결과 색상이 cₐ(1−exp(−σₐ(b−a)))로 나타나며, 이는 지수 감쇠를 보여준다.
• 조각별로 일정한 세그먼트에서는 볼륨 렌더링 적분식이 C = Σₙ Tₙ(1−exp(−σₙδₙ))cₙ로 단순화되며, 여기서 Tₙ는 세그먼트 n까지의 누적 투과도이다.
• 최종 NeRF 렌더링 식은 C = Σₙ Tₙαₙcₙ로 복구되며, 여기서 αₙ = 1−exp(−σₙδₙ)이고 Tₙ = ∏ᵢ₌₁ⁿ⁻¹(1−αᵢ)이다. 이는 다양한 렌더링 파이프라인을 지원한다.
• 항등식 ∫(1−T(t))' dt = T(a)−T(b)를 사용한 별도의 유도 방법은 동일한 결과를 확인하여 접근의 일관성을 입증한다.