[논문 리뷰] Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields

Ziteng Cui, Lin Gu외 4명|arXiv (Cornell University)|2023. 03. 10.

Advanced Vision and Imaging인용 수 5

한 줄 요약

Aleth-NeRF는 장면과 관찰자 사이의 빛 감쇠를 위한 대체 모델인 '은폐 필드(Concealing Fields)'를 도입하여, 어두운 다중 시점 sRGB 이미지만을 사용하여 무 supervision으로 저조도 조건에서의 시점 합성을 위한 NeRF 기반 방법을 제안한다. 추론 시 은폐 필드를 제거함으로써, 2D 향상 방법에 비해 더 뛰어난 3D 다중 시점 일致성과 이미지 품질을 달성한다. 새로 확보한 LOM 데이터셋에서 SSIM, PSNR, LPIPS 지표 모두에서 베이스라인을 능가한다.

ABSTRACT

Common capture low-light scenes are challenging for most computer vision techniques, including Neural Radiance Fields (NeRF). Vanilla NeRF is viewer-centred simplifies the rendering process only as light emission from 3D locations in the viewing direction, thus failing to model the low-illumination induced darkness. Inspired by the emission theory of ancient Greeks that visual perception is accomplished by rays casting from eyes, we make slight modifications on vanilla NeRF to train on multiple views of low-light scenes, we can thus render out the well-lit scene in an unsupervised manner. We introduce a surrogate concept, Concealing Fields, that reduces the transport of light during the volume rendering stage. Specifically, our proposed method, Aleth-NeRF, directly learns from the dark image to understand volumetric object representation and concealing field under priors. By simply eliminating Concealing Fields, we can render a single or multi-view well-lit image(s) and gain superior performance over other 2D low-light enhancement methods. Additionally, we collect the first paired LOw-light and normal-light Multi-view (LOM) datasets for future research. This version is invalid, please refer to our new AAAI version: arXiv:2312.09093

연구 동기 및 목표

• 기본 NeRF가 부족한 조명과 낮은 다중 시점 일치성으로 인해 저조도 환경에서 성능을 발휘하지 못하는 문제를 해결하기 위해.
• NeRF 학습 이전에 적용되는 2D 저조도 향상 방법이 3D 기하학적 일치성을 해칠 수 있는 한계를 극복하기 위해.
• 감독 없이 어두운 이미지에서 볼륨 색상 표현과 은폐 효과를 함께 학습하는 NeRF 변종을 제안하기 위해.
• 미래의 저조도 3D 시 scene 이해 연구를 위해, 저조도 및 정상 조도 다중 시점 쌍을 포함한 첫 번째 데이터셋(Launched Outdoor Multi-view, LOM)을 수집하고 공개하기 위해.

제안 방법

• 시야 방향의 빛 감쇠를 위한 대체 모델로 '은폐 필드(Concealing Fields)'를 도입하여, NeRF의 투과 함수를 확장해 저조도 조건을 모델링한다.
• 학습 중에 정상 조도 지도 없이 어두운 다중 시점 sRGB 이미지만을 사용하여, 복사율 필드와 은폐 필드를 동시에 최적화하는 기본 NeRF를 수정한다.
• 추론 시 은폐 필드를 단순히 제거하여 밝은 환경의 렌더링을 가능하게 하여, 무 supervision 향상 기능을 달성한다.
• 선형 렌더링 과정을 유연하게 적용하여, 레이 통합 단계에서 은폐 필드를 곱셈 감쇠 요소로 통합한다.
• 고대 그리스의 방출 이론(빛이 눈에서 방출되는 것으로 보는 철학적 유사성)을 활용해 문제를 '숨겨진 구조를 드러내는 것'으로 재정의한다.
• 표준 NeRF 손실 함수를 어두운 이미지에 적용하여 엔드 투 엔드로 모델을 학습시키며, 정상 조도 지도가 필요로 하지 않는다.

Figure 1: We assume objects are naturally visible. However, the Concealing Field attenuates the light in the viewing direction, making the left user see a low-light scene. Aleth-NeRF takes a low-light image as input and unsupervisly learns the distribution of the Concealing Field. Then, we unconceal

실험 결과

연구 질문

• RQ1 어두운 이미지만으로 정상 조도 지도 없이도 NeRF를 효과적으로 학습시켜 잘 조명된 새로운 시점의 영상을 합성할 수 있는가?
• RQ2 은폐 필드를 통해 빛 감쇠를 모델링할 경우, 2D 향상 방법으로 NeRF 출력을 후처리하는 것에 비해 다중 시점 일치성이 얼마나 향상되는가?
• RQ3 NeRF 기반 시점 합성에 통합되었을 때, 최신 2D 저조도 향상 기법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 물리적 유사성에 기반한 은폐 필드 개념의 사용이 저조도 조건에서 더 강건하고 일반화 가능한 3D 시 scene 재구성에 기여하는가?
• RQ5 어두운 이미지에서 학습된 단일의 시점 특화 NeRF 모델이 2D 향상 및 NeRF 최적화를 포함하는 다단계 파ipeline보다 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• Aleth-NeRF는 LOM 데이터셋에서 SSIM, PSNR, LPIPS 지표 전반에서 최고의 평균 성능을 기록하며, 'NeRF + 2D 향상' 및 '2D 향상 + NeRF' 베이스라인을 모두 능가한다.
• 'NeRF + 2D 향상' 파이프라인은 '2D 향상 + NeRF'보다 성능이 열 劣하다는 점에서, 저품질의 NeRF 출력이 2D 향상 결과를 악화시킨다는 것을 시사한다.
• '2D 향상 + NeRF' 파이프라인은 다수의 시점 간 일관성 없는 2D 향상으로 인해 새로운 시점 생성에서 잡음과 일관성 없는 현상이 발생한다.
• Aleth-NeRF는 '소파', '자전거', '다초' 시점에서의 시각화 및 정량적 지표를 통해 고도의 다중 시점 일치성과 이미지 품질을 유지한다.
• 이 방법은 LOM 데이터셋에서 최신 기술 수준의 성능을 달성하여, 어두운 이미지에서의 엔드 투 엔드 무 supervision 학습이 3D 시점 합성에 효과적임을 입증한다.
• 5개의 실물 환경 시점(25~65개의 저조도 및 정상 조도 쌍 포함)을 포함한 LOM 데이터셋은 다중 시점 저조도 향상 평가에 신뢰할 수 있는 기반을 제공한다.

Figure 2: (a). NeRF rendering results in normal-light scene and low-light scene. (b). NeRF rendering on enhanced scene by 2D image enhancement methods LIME [ 12 ] and IAT [ 5 ] . (c) Aleth-NeRF rendering results in low-light scene.