[논문 리뷰] Casual Indoor HDR Radiance Capture from Omnidirectional Images

Pulkit Gera, Mohammad Reza Karimi Dastjerdi외 3명|arXiv (Cornell University)|2022. 08. 16.

Image Enhancement Techniques인용 수 5

한 줄 요약

PanoHDR-NeRF는 단일 카메라를 사용하여 실내 환경에서 전체 고다이내믹레인지(HDR) 반사율 필드를 캡처하기 위한 캐주얼한 파이프라인을 제안한다. 이는 자유롭게 촬영한 LDR 옴니디렉셔널 비디오만을 사용한다. LDR2HDR 네트워크와 특화된 NeRF++ 모델을 조합함으로써, 어떤 시점에서도 정확하고 시점에 따라 달라지는 HDR 렌더링을 가능하게 하며, 가상 오브제의 현실적인 조명과 다양한 실내 환경에서의 강력한 성능을 검증하였다.

ABSTRACT

We present PanoHDR-NeRF, a neural representation of the full HDR radiance field of an indoor scene, and a pipeline to capture it casually, without elaborate setups or complex capture protocols. First, a user captures a low dynamic range (LDR) omnidirectional video of the scene by freely waving an off-the-shelf camera around the scene. Then, an LDR2HDR network uplifts the captured LDR frames to HDR, which are used to train a tailored NeRF++ model. The resulting PanoHDR-NeRF can render full HDR images from any location of the scene. Through experiments on a novel test dataset of real scenes with the ground truth HDR radiance captured at locations not seen during training, we show that PanoHDR-NeRF predicts plausible HDR radiance from any scene point. We also show that the predicted radiance can synthesize correct lighting effects, enabling the augmentation of indoor scenes with synthetic objects that are lit correctly. Datasets and code are available at https://lvsn.github.io/PanoHDR-NeRF/.

연구 동기 및 목표

• 특수 장비나 복잡한 캡처 프로토콜 없이 실내 환경에서 실용적이고 고품질의 HDR 반사율 필드 캡처를 가능하게 하기 위해.
• 기존의 NeRF 기반 방법이 LDR 입력으로 훈련될 경우 진정한 HDR 조명을 모델링하지 못하는 한계를 해결하기 위해.
• 관측되지 않은 시점으로도 일반화 가능한 공간적으로 변화하는 HDR 반사율의 신경망 표현을 학습하기 위해.
• 360도 LDR 비디오의 캐주얼한 휴대용 촬영만으로도 실내 조명 재구성에 적합하고 물리적으로 타당한 HDR 조명을 합성할 수 있음을 입증하기 위해.
• 학습되지 않은 위치에서 실제 HDR 라이트 프로브를 제공한 실세계 시나리오에서의 성능을 검증함으로써 일반화 능력과 정확성을 입증하기 위해.

제안 방법

• 사용자가 표준 360도 카메라를 사용하여 실내 환경의 LDR 옴니디렉셔널 비디오를 자유롭게 촬영함으로써 시작한다.
• 각 프레임에 대해 LDR2HDR 신경망을 적용하여 단일 LDR 옴니패노라마에서 고다이내믹레인지(HDR) 반사율 값을 예측한다.
• 예측된 HDR 프레임을 사용하여 시나리오 내 모든 3D 레이를 따라 HDR 반사율을 렌더링할 수 있도록 수정된 NeRF++ 모델을 훈련시킨다.
• HDR에서 극단적인 강도 값을 정확히 예측하기 위해 훈련 안정성을 향상시키기 위해 로그 공간 손실을 사용하여 NeRF++ 모델을 훈련시킨다.
• 각 시점당 단일 노출에서 HDR 콘텐츠를 추론할 수 있도록 LDR2HDR 네트워크에 의존함으로써 복잡한 校정 또는 다중 노출 캡처를 피한다.
• 최종 PanoHDR-NeRF 모델은 시나리오 내 어느 위치에서든 관측되지 않은 시점까지 포함하여 전체 HDR 반사율의 새로운 뷰 합성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 캐주얼 촬영된 LDR 옴니디렉셔널 비디오만을 사용하여 실내 환경에서 전체 HDR 반사율을 표현할 수 있는 신경망 반사율 필드를 훈련시킬 수 있는가?
• RQ2 단일 프레임 패노라마에 적용된 LDR2HDR 네트워크가 NeRF 훈련에 필요한 정확한 HDR 재구성 수준에 도달하는가?
• RQ3 예측된 HDR 출력으로 훈련된 NeRF++ 모델이 촬영 중에 관측되지 않은 시점으로 일반화 가능한가, 특히 공간적으로 변화하는 조명 조건에서도?
• RQ4 손실 공간의 선택(선형 대비 로그)이 예측된 HDR 반사율의 품질과 안정성에 어떤 영향을 미치는가?
• RQ5 최종적으로 생성된 PanoHDR-NeRF 모델이 증강현실 애플리케이션에서 가상 오브제의 조명 재구성에 물리적으로 타당한 조명을 제공할 수 있는가?

주요 결과

• PanoHDR-NeRF는 훈련 중에 관측되지 않은 시점으로 일반화되어 실내 복잡한 조명 변화가 있는 실제 시나리오에서도 신뢰할 수 있는 HDR 반사율 필드를 생성한다.
• 합성된 HDR 라이트 프로브를 사용하여 가상 오브제의 조명 재구성을 정확하게 수행함으로써 증강현실 및 시나리오 증강 분야에서의 유용성을 입증한다.
• 로그 공간에서의 훈련은 선형 공간 훈련 대비 블러와 플로팅 아티팩트를 줄여 시각적 품질을 크게 향상시킨다.
• 처리 순서가 중요하다: NeRF를 HDR 출력으로 훈련시키는 PanoHDR-NeRF 방식이 NeRF 후에 LDR2HDR를 적용하는 NeRF-LDR2HDR 방식보다 더 높은 시간적 안정성을 확보한다.
• 각 시점당 단일 LDR 캡처만을 사용함에도 불구하고, 인지적 품질과 조명 정확도 측면에서 다중 노출 HDR 캡처와 비교해도 성능이 유사하다.
• 이 방법은 강한 방향성 조명(예: 창문 근처)과 복잡한 반사가 있는 다양한 실내 환경에서 모두 강력한 성능을 보인다.