[논문 리뷰] Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme

Alexandre Pierre Dherse, Martin Everaert외 1명|arXiv (Cornell University)|2020. 06. 03.

Advanced Vision and Imaging참고 문헌 27인용 수 8

한 줄 요약

이 논문은 목표 이미지에서 조명 조건을 추정하고 이를 입력 이미지에 전달하여 명시적인 조명 애너테이션 없이도 현실적인 재조명을 가능하게 하는 잠재공간 인코더-디코더 프레임워크를 제안한다. 방법은 색온도와 기본 그림자 전이에서 개선된 일관성을 달성하지만, 특히 새로운 시나리오에서의 현실성과 정확한 그림자 재구성은 여전히 제한되어 있다.

ABSTRACT

The image relighting task of transferring illumination conditions between two images offers an interesting and difficult challenge with potential applications in photography, cinematography and computer graphics. In this report we present methods that we tried to achieve that goal. Our models are trained on a rendered dataset of artificial locations with varied scene content, light source location and color temperature. With this dataset, we used a network with illumination estimation component aiming to infer and replace light conditions in the latent space representation of the concerned scenes.

연구 동기 및 목표

• 명시적인 조명 애너테이션 없이도 입력 이미지에 목표 이미지의 조명을 전달할 수 있는 일반화 가능한 이미지 재조명 방법을 개발하는 것.
• 목표 이미지의 잠재공간 표현에서 직접 조명 추정을 자동으로 수행하여 수동으로 조명 소스를 지정하는 것을 피하는 것.
• 잠재공간에서 시나리오 콘텐츠와 조명 정보를 분리하여 입력 시나리오와 목표 조명을 자유롭게 재결합할 수 있도록 하는 것.
• 다양한 조명 조건과 시나리오 콘텐츠를 가진 인위적으로 렌더링된 데이터셋(VIDIT)에서 모델 성능을 평가하는 것.
• 어둠진 영역에서 특히 현실성과 그림자 재구성에 한계가 있음을 밝히고 향후 연구를 위한 개선 방안을 제안하는 것.

제안 방법

• 모델은 입력 이미지와 목표 이미지를 모두 처리하기 위해 공유된 인코더-디코더 아키텍처를 사용하여 시나리오와 조명의 잠재 표현을 추출한다.
• 조명 추정은 잠재공간 내에서 완전히 연결된 신경망 또는 환경 맵 예측을 통해 수행되어 분리된 조명 표현을 가능하게 한다.
• 디코딩 이전에 입력 이미지의 시나리오 특징과 목표 이미지의 조명 특징을 잠재공간에서 조합한다.
• 재구성 손실과 인지적 손실(LPIPS)의 조합으로 네트워크를 훈련시키며, Envmap + 시나리오 모델의 경우 LPIPS 최소화를 위한 추가 최적화를 수행한다.
• 디코딩 중 공간적 세부 정보를 유지하기 위해 스킵 연결을 사용하며, 체크ered 박자 현상을 줄이기 위해 전치 컨볼루션의 대안으로 PixelShuffle을 고려한다.
• 향후 향상으로서 조건부 GAN 또는 상대적 GAN을 제안하여 재조명된 이미지의 현실성과 일관성을 향상시키는 것.

실험 결과

연구 질문

• RQ1 단일 이미지 기반 재조명 방법이 목표 이미지에서 입력 이미지로 잠재공간 내에서 조명 조건을 효과적으로 추정하고 전달할 수 있는가?
• RQ2 시나리오와 조명의 분리된 잠재표현이 다양한 시나리오에 걸쳐 재조명 품질과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ3 왜 모델들은 그림자와 깊은 어둠진 영역을 정확히 재구성하지 못하는가? 이는 현실성에 어떤 영향을 미치는가?
• RQ4 명시적인 조명 입력이나 동일 시나리오의 다중 뷰가 필요한 방법과 비교해 볼 때, 자동 조명 추정은 어떤가?
• RQ5 강한 그림자가 있는 영역에서 재조명된 이미지의 현실성과 일관성을 향상시키기 위해 어떤 개선 조치를 취할 수 있는가?

주요 결과

• Envmap + 시나리오 모델이 가장 낮은 LPIPS 점수(0.2564)를 기록하여 지표값과의 인지적 유사도가 뛰어나지만, 이는 이 특정 지표를 최적화하기 위해 설계된 덕분이었다.
• 조명 예측 모델이 가장 높은 SSIM(0.3365)을 기록하여 이미지 콘텐츠의 구조적 유지 능력이 뛰어났다.
• SNR 값은 상대적으로 낮았으며(18.11–18.66 dB), 특히 어두운 영역에서 신호 대비 잡음 성능이 열악했다.
• 모델들은 색온도 전이에서는 뛰어난 성능을 보였지만, 어둠진 영역에서 방향성 조명 변화를 정확히 반영하지 못해 어려움을 겪었다.
• 네트워크는 깊은 그림자를 자주 제거하고 균일한 색상으로 대체하여, 어두운 영역에 대해 현실적인 콘텐츠를 '상상'하지 못하는 것으로 나타났다.
• 새로운 시나리오에 대한 일반화 능력은 제한적이었으며, 훈련 세트 대비 검증 세트에서 성능이 크게 떨어져 제로샷 전이 능력이 떨어지는 것으로 나타났다.