[논문 리뷰] EverLight: Indoor-Outdoor Editable HDR Lighting Estimation

Mohammad Reza Karimi Dastjerdi, Jonathan Eisenmann외 2명|arXiv (Cornell University)|2023. 04. 26.

Advanced Vision and Imaging인용 수 4

한 줄 요약

EverLight는 단일 이미지에서 고해상도 360° 파ano라마를 생성하는 통합적이고 편집 가능한 HDR 조명 추정 방법을 제안한다. 이는 매개변수적 구면 가우시안 조명 소스와 GAN 기반 파ano라마 생성을 결합한 것으로, 조명 공모듈레이션을 도입하여 실내 및 실외 환경에서의 원활한 장면 편집을 가능하게 하며, 현실성과 편집 가능성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Because of the diversity in lighting environments, existing illumination estimation techniques have been designed explicitly on indoor or outdoor environments. Methods have focused specifically on capturing accurate energy (e.g., through parametric lighting models), which emphasizes shading and strong cast shadows; or producing plausible texture (e.g., with GANs), which prioritizes plausible reflections. Approaches which provide editable lighting capabilities have been proposed, but these tend to be with simplified lighting models, offering limited realism. In this work, we propose to bridge the gap between these recent trends in the literature, and propose a method which combines a parametric light model with 360° panoramas, ready to use as HDRI in rendering engines. We leverage recent advances in GAN-based LDR panorama extrapolation from a regular image, which we extend to HDR using parametric spherical gaussians. To achieve this, we introduce a novel lighting co-modulation method that injects lighting-related features throughout the generator, tightly coupling the original or edited scene illumination within the panorama generation process. In our representation, users can easily edit light direction, intensity, number, etc. to impact shading while providing rich, complex reflections while seamlessly blending with the edits. Furthermore, our method encompasses indoor and outdoor environments, demonstrating state-of-the-art results even when compared to domain-specific methods.

연구 동기 및 목표

• 실내와 실외 환경 간에 특화된 조명 추정 방법 간 격차를 해소하기 위해 통합 프레임워크를 구축한다.
• 조명 강도, 방향, 색상, 조명 수와 같은 사용자 편집 가능한 HDR 조명 파라미터를 유지하면서도 현실적인 반사 및 그림자를 보존한다.
• GAN 기반 파ano라마 생성의 현실성과 매개변수적 조명 모델의 해석 가능성(해석 가능성)을 결합한다.
• 도메인 특화 적응 없이도 실내 및 실외 환경에서 경쟁적인 성능을 달성한다.
• 이미지 합성 과정에서 생성기 특징과 편집 가능한 조명을 밀접하게 연결하기 위해 새로운 조명 공모듈레이션 메커니즘을 도입한다.

제안 방법

• LDR 파ano라마 외삽에 대해 훈련된 GAN 기반 생성기의 기반을 활용하고, 구면 가우시안 조명 표현을 사용하여 HDR로 확장한다.
• 생성기의 잔차 블록 전반에 조명 특징을 주입하는 조명 공모듈레이션 모듈을 도입하여, 편집된 조명이 장면 기하학과 일관되게 융합되도록 보장한다.
• 학습된 조명 인코더를 사용하여 단일 RGB 이미지에서 HDR 구면 가우시안 파라미터(위치, 강도, 색상)를 예측한다.
• 질감과 조명의 정밀도를 유지하기 위해 인지적, 적대적, L1 손실 항목의 조합을 사용하여 모델을 종합적으로 훈련한다.
• 포화된 픽셀을 복구하기 위해 프oxy 네트워크를 사용하여 입력 파ano라마의 동적 범위를 확장한다. 이는 HDR 추정 정확도 향상에 기여한다.
• 스타일과 조명 공모듈레이션을 갖춘 피드포워드 생성기를 사용하여 조명 속성의 분리 및 제어 가능한 편집을 보장한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 프레임워크가 실내 및 실외 환경 모두에서 HDR 조명 추정에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 조명 공모듈레이션은 복잡한 장면 질감과 편집 가능한 조명 소스를 현실적으로 융합하는 데 얼마나 효과적인가?
• RQ3 특수 하드웨어나 도메인 특화 데이터에 의존하지 않고도 GAN 기반 생성기가 고품질의 편집 가능한 HDR 파ano라마를 생성할 수 있는가?
• RQ4 매개변수적 조명 모델링과 GAN 기반 합성의 조합이 순수 매개변수적 또는 순수 생성적 접근 방식보다 현실성과 편집 가능성 측면에서 뛰어나게 성능을 내는가?
• RQ5 다양한 조명 조건에 대해 일반화할 수 있는가? 이때 정확한 그림자와 반사 성질을 유지할 수 있는가?

주요 결과

• EverLight는 실외 테스트 세트에서 FID 38.44, 실내 세트에서 FID 78.90를 기록하여 편집 불가능한 및 도메인 특화 기준선을 초월한다.
• 제거 실험 결과, 조명 공모듈레이션을 제거하면 실외 장면에서 FID가 50.29로 증가하여, 이는 현실적인 조명 융합에 있어 핵심적인 역할을 한다는 것을 시사한다.
• 정성적 결과는 복잡한 장면에서도 물이나 광택 있는 바닥과 같은 표면에 편집된 조명이 자연스러운 반사 효과를 생성함을 보여준다.
• 모델은 질감 품질을 손상시키지 않은 채 직관적인 조명 파라미터 편집을 지원하는 현실적인 HDR 파ano라마를 성공적으로 생성한다.
• 프록시 진짜 조명을 사용함에도 불구하고, 모델은 실제 환경 장면에 잘 일반화되어 있으며 조명 다양성에 대해 강건함을 보인다.
• 도메인 특화 방법에 비해 경쟁적인 성능을 유지함으로써, 실내 및 실외 조명 추정을 위한 통합 솔루션으로서의 효과성을 입증한다.