[논문 리뷰] A Learned Radiance-Field Representation for Complex Luminaires

Jorge Condor, Adrián Jarabo|arXiv (Cornell University)|2022. 01. 01.

Advanced Vision and Imaging인용 수 2

한 줄 요약

이 논문은 신경 레디언스 필드(네루럴 레디언스 필드, NeRF)를 사용하여 고역동 범위, 고주파, 영방출 광장(field)을 인코딩하고, 이를 효율적인 통합을 위해 플레노크트리로 정제함으로써 복잡한 조명기기의 학습된 레디언스 필드 표현을 제안한다. 이 방법은 최소한의 오차로 경로 추적 대비 최대 100배 빠른 성능을 달성하여 계산 비용을 줄이며 고정밀 렌더링을 가능하게 한다.

ABSTRACT

We propose an efficient method for rendering complex luminaires using a high-quality octree-based representation of the luminaire emission. Complex luminaires are a particularly challenging problem in rendering, due to their caustic light paths inside the luminaire. We reduce the geometric complexity of luminaires by using a simple proxy geometry and encode the visually-complex emitted light field by using a neural radiance field. We tackle the multiple challenges of using NeRFs for representing luminaires, including their high dynamic range, high-frequency content and null-emission areas, by proposing a specialized loss function. For rendering, we distill our luminaires' NeRF into a Plenoctree, which we can be easily integrated into traditional rendering systems. Our approach allows for speed-ups of up to 2 orders of magnitude in scenes containing complex luminaires introducing minimal error.

연구 동기 및 목표

• 복잡한 조명기기의 코우스틱 광선 경로와 고도의 기하학적 복잡성을 렌더링하는 데 도전하는 것.
• 기존의 조명 소스 근사 방식(예: 면적광 또는 원거리광)의 한계를 극복하여 건축 시각화에서 현실감을 훼손하지 않는 것.
• 고역동 범위, 투명성, 영방출 영역을 포함한 고품질의 조명기기 렌더링을 효율적으로 가능하게 하는 것.
• 기존 몬테카를로 렌더링 파이프라인에 학습된 조명기기 표현을 원활하게 통합하는 것.

제안 방법

• 조명기기의 기하학적 복잡성을 줄이기 위해 단순한 프록시 기하 구조를 활용한다.
• 복잡한 고역동 범위 및 고주파 발산 레디언스 필드를 인코딩하기 위해 신경 레디언스 필드(NeRF)를 사용한다.
• HDR 콘텐츠, 고각도 주파수, 영방출 영역을 처리하기 위해 특수 설계된 손실 함수를 설계한다.
• 학습된 NeRF를 플레노크트리 표현으로 정제하여 기존의 렌더링 시스템에서 효율적이고 GPU 가속 렌더링을 가능하게 한다.
• 체적 플레노크트리 내에서 레이 마치징을 사용하여 최소한의 샘플링으로 빠르고 고품질의 렌더링을 수행한다.

실험 결과

연구 질문

• RQ1 고역동 범위와 고주파 발산 패턴을 갖는 복잡한 조명기기를 효과적으로 표현하기 위해 신경 레디언스 필드를 적절히 적용할 수 있는가?
• RQ2 NeRF는 투명 및 불투명 요소, 특히 영방출 영역을 포함한 조명기기의 요소를 정확히 모델링할 수 있는가?
• RQ3 NeRF 기반의 조명기기 표현을 표준 렌더링 파이프라인에 통합하기 위해 효율적으로 플레노크트리로 정제할 수 있는가?
• RQ4 기존의 경로 추적 대비 성능 향상(렌더링 속도 및 품질 측면에서)은 어느 정도 달성할 수 있는가?

주요 결과

• 표 5에서 확인한 바와 같이, 기존의 경로 추적 및 체적 경로 추적 대비 최대 100배의 속도 향상을 달성했으며, 오차는 최소한이다.
• 동일한 RMSE 조건에서 제안된 방법은 렌더링 시간을 분에서 초로 단축시켰다. 예를 들어, PORTICA 리빙 룸 시나리오에서 84분에서 52.4초로 감소하였다.
• DALLAS 데이터셋에서 PSNR는 31.50, SSIM는 0.937를 달성했으며, 이는 품질과 속도 측면에서 Zhu 등 [ZBX*21] 보다 뚜렷이 뛰어난 성능을 보였다.
• 그림 6에서 보듯이, 기준 경로 추적 렌더링 대비 시각적으로 열등한 결과를 내는 대신, 분산이 낮고 수렴 속도가 더 빠른 결과를 생성하였다.
• 플레노크트리 표현은 존재하는 렌더링 시스템에 효율적으로 통합 가능하며, 직접 조명 및 간접 조명을 모두 지원하며 최소한의 수정으로도 가능하다.
• 매우 낮은 샘플링 비율(예: 4–32 spp)에서도 높은 시각적 정밀도를 유지하여 강건성과 효율성을 입증하였다.