[논문 리뷰] HDR-NeRF: High Dynamic Range Neural Radiance Fields

Xin Huang, Qi Zhang외 4명|arXiv (Cornell University)|2021. 11. 29.

Advanced Vision and Imaging인용 수 5

한 줄 요약

HDR-NeRF는 다양한 노출 조건을 가진 다수의 저역동범위(Low Dynamic Range, LDR) 이미지를 이용하여 고역동범위(High Dynamic Range, HDR) 신경 렌디언스 필드를 복원하는 엔드 투 엔드 방법을 제안한다. 카메라 응답 함수를 미분 가능한 톤 매핑 기법으로 모델링하고, LDR 지도만을 사용하여 렌디언스 필드와 톤 매핑을 공동 최적화함으로써, 새로운 HDR 뷰 합성과 임의의 노출 설정에서 제어 가능한 LDR 뷰 렌더링을 가능하게 하며, 새로운 합성 및 실세계 HDR 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present High Dynamic Range Neural Radiance Fields (HDR-NeRF) to recover an HDR radiance field from a set of low dynamic range (LDR) views with different exposures. Using the HDR-NeRF, we are able to generate both novel HDR views and novel LDR views under different exposures. The key to our method is to model the physical imaging process, which dictates that the radiance of a scene point transforms to a pixel value in the LDR image with two implicit functions: a radiance field and a tone mapper. The radiance field encodes the scene radiance (values vary from 0 to +infty), which outputs the density and radiance of a ray by giving corresponding ray origin and ray direction. The tone mapper models the mapping process that a ray hitting on the camera sensor becomes a pixel value. The color of the ray is predicted by feeding the radiance and the corresponding exposure time into the tone mapper. We use the classic volume rendering technique to project the output radiance, colors, and densities into HDR and LDR images, while only the input LDR images are used as the supervision. We collect a new forward-facing HDR dataset to evaluate the proposed method. Experimental results on synthetic and real-world scenes validate that our method can not only accurately control the exposures of synthesized views but also render views with a high dynamic range.

연구 동기 및 목표

• 기존 NeRF 방법이 실제 세계의 더 높은 역동범위를 고려할 때도 저역동범위(Low Dynamic Range, LDR)의 새로운 뷰만을 생성하는 한계를 해결하기 위해.
• HDR 지도 없이도 다수의 서로 다른 노출 조건을 가진 LDR 이미지로부터 고역동범위(High Dynamic Range, HDR) 렌디언스 필드를 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 장면 레이디안스에서 픽셀 값으로의 매핑을 가능하게 하기 위해 물리적 영상 촬영 과정을 미분 가능한 톤 매핑 함수로 모델링함으로써, 합성된 뷰에서 노출를 제어할 수 있도록 하기 위해.
• 기준으로 사용할 수 있는 새로운 전방향 HDR 데이터셋을 수집하고 공개하여 HDR 뷰 합성의 기준을 마련하기 위해.

제안 방법

• 이 방법은 두 개의 연속적인 암시적 신경 함수를 사용하여 장면을 모델링한다: 밀도와 레이디언스(0에서 ∞까지의 무한한 값)를 출력하는 렌디언스 필드와 레이디언스와 노출 시간을 픽셀 값으로 매핑하는 톤 매퍼.
• 톤 매퍼는 다층 신경망(Multi-Layer Perceptron, MLP)으로 구현되며, 카메라 응답 함수(Camera Response Function, CRF)를 학습함으로써 장면 레이디언스에서 LDR 픽셀 값으로의 미분 가능한 매핑을 가능하게 한다.
• 체적 렌더링을 적용하여 레이를 따라 레이디언스와 색상을 통합함으로써 HDR 및 LDR 이미지를 생성하며, 지도로는 오직 LDR 진짜 값만 사용한다.
• RGB 채널 간의 색상 기울기 및 색상 일관성을 방지하기 위해 단위 노출 손실(Unit Exposure Loss, L_u)을 도입하여 CRF 추정을 정규화한다.
• 다중 노출 손실을 사용하여 렌디언스 필드와 톤 매퍼를 공동 최적화함으로써, 희소하고 서로 다른 노출 조건을 가진 LDR 입력으로부터 정확한 HDR 복원을 가능하게 한다.
• HDR 지도 없이도 오직 LDR 이미지만을 사용하여 엔드 투 엔드로 학습되며, 임의의 노출 설정을 가진 새로운 뷰의 추론이 가능하다.

실험 결과

연구 질문

• RQ1 다양한 노출 조건을 가진 다수의 LDR 이미지에서 HDR 지도 없이도 엔드 투 엔드로 훈련된 신경 렌디언스 필드가 고역동범위(HDR)의 새로운 뷰를 생성할 수 있는가?
• RQ2 NeRF 프레임워크 내에서 카메라 응답 함수(Camera Response Function, CRF)를 어떻게 효과적으로 미분 가능한 구성 요소로 모델링할 수 있는가? 이를 통해 새로운 LDR 뷰에서 노출 제어를 가능하게 할 수 있는가?
• RQ3 자기 지도 학습 설정에서 입력 노출 수의 영향은 HDR 및 LDR 뷰 재구성 품질에 어떤 영향을 미치는가?
• RQ4 공동 최적화된 렌디언스 필드와 톤 매퍼가 오직 LDR 지도만을 사용하여도 실제 HDR 지도와 시각적 및 정량적으로 유사한 HDR 결과를 생성할 수 있는가?
• RQ5 RGB 채널 별로 독립적으로 CRF를 모델링할 경우, 복잡한 색상 반응을 보이는 실세계 장면에서 성능에 어떤 영향을 미치는가?

주요 결과

• 3개 이상의 노출을 사용할 경우, 합성 장면에서 PSNR 37.60, SSIM 0.963, LPIPS 0.021을 달성하여 NeRF-GT 성능에 매우 가까운 결과를 얻는다.
• 2개의 노출만을 사용할 경우 성능이 크게 떨어지며(PSNR가 32.39로 감소함), 이는 고품질 HDR 복원을 위해 최소 3개의 노출이 필요함을 시사한다.
• 단위 노출 손실(L_u)을 포함시킴으로써 HDR 뷰 품질이 크게 향상되어 LPIPS가 0.163에서 0.021로 감소하고, 렌더링된 이미지에서 색상 기울기 문제가 사라진다.
• 이 방법은 과노출 및 과노출 영역의 세부 정보를 드러내는 톤 매핑된 HDR 뷰를 생성하며, 히스토GRAM 분포가 실제 값과 유사하다.
• 절단 분석 결과, RGB 채널 별로 독립적으로 CRF를 모델링할 경우 실세계 장면에서 공유된 CRF 모델링보다 훨씬 우수한 성능을 보였다.
• 이 방법이 추정한 CRF는 실제 카메라 응답 곡선과 유사하여, 물리적 영상 촬영 과정을 모델링하는 데 효과적인 미분 가능한 톤 매퍼의 타당성을 입증한다.