[논문 리뷰] Joint Shadow Generation and Relighting via Light-Geometry Interaction Maps

Shan Wang, Peixia Li외 5명|arXiv (Cornell University)|2026. 02. 25.

Computer Graphics and Visualization Techniques인용 수 0

한 줄 요약

이 논문은 monocular depth로부터 학습된 Light–Geometry Interaction (LGI) maps를 이용해 그림자 생성과 재조명을 공동으로 가이드하는 파이프라인과 대규모 ShadRel 데이터셋을 제시하며, 최첨단 리얼리즘과 일관성을 달성한다.

ABSTRACT

We propose Light-Geometry Interaction (LGI) maps, a novel representation that encodes light-aware occlusion from monocular depth. Unlike ray tracing, which requires full 3D reconstruction, LGI captures essential light-shadow interactions reliably and accurately, computed from off-the-shelf 2.5D depth map predictions. LGI explicitly ties illumination direction to geometry, providing a physics-inspired prior that constrains generative models. Without such prior, these models often produce floating shadows, inconsistent illumination, and implausible shadow geometry. Building on this representation, we propose a unified pipeline for joint shadow generation and relighting - unlike prior methods that treat them as disjoint tasks - capturing the intrinsic coupling of illumination and shadowing essential for modeling indirect effects. By embedding LGI into a bridge-matching generative backbone, we reduce ambiguity and enforce physically consistent light-shadow reasoning. To enable effective training, we curated the first large-scale benchmark dataset for joint shadow and relighting, covering reflections, transparency, and complex interreflections. Experiments show significant gains in realism and consistency across synthetic and real images. LGI thus bridges geometry-inspired rendering with generative modeling, enabling efficient, physically consistent shadow generation and relighting.

연구 동기 및 목표

• 단일 시점에서의 그림자 생성 및 재조명에서 빛-그림자 상호작용의 일관성을 보장하기 위해 물리적으로 정보에 기반한 사전(priors)의 필요성을 제시한다.
• 깊이와 조도 방향을 연결하는 Light–Geometry Interaction (LGI) maps를 도입하여 생성 모델을 제약한다.
• 그림자 생성과 물체 수준 재조명을 분리하여 다루는 것이 아니라 이를 공동으로 모델링하는 일원화 파이프라인을 개발한다.
• 모델의 학습 및 평가를 위해 소프트 섀도우, 반사, 간접 반사를 포괄하는 대규모 데이터셋(ShadRel)을 만든다.

제안 방법

• LGI maps를 단안 깊이 맵으로부터 인코딩된 빛 차단 관계를 나타내는 미분가능한(depth-derived) 표현으로 정의한다.
• 사전 학습된 모델에서 초기화된 bridge-matching 확산 기반 백본을 사용하고, 잠재 공간 SDE drift v_theta를 LGI maps와 전역 조명 신호에 조건화한다.
• 픽셀 레벨 손실을 그림자 영역에 학습 초점을 맞추기 위해 밝기 변화 영역을 강조하는 가중치 L1 손실로 교체한다.
• 깊이 추정, 3D 리프팅, 광선 샘플링, 고도 차이 계산으로 LGI maps를 생성하여 light–geometry interactions를 포착한다.
• Blender Cycles를 사용하여 그림자, 반사 및 간접 반사를 렌더링하는 합성 장면으로 ShadRel 데이터셋에서 학습하고; 합성 이미지와 실제 이미지 모두에서 평가한다.
• 합성 이미지로부터 조명을 추론하고 미분가능한 LGI maps를 활용하여 이미지 하모나이제이션으로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 LGI maps derived from monocular depth provide a differentiable, physics-inspired prior to guide joint shadow generation and relighting?
• RQ2 How does embedding light–geometry coupling affect realism and consistency of shadows and indirect illumination in single-view editing tasks?
• RQ3 What performance gains arise from jointly modeling shadow generation and relighting compared to baseline, disjoint approaches?
• RQ4 Is the LGI-based method robust to domain shifts between synthetic ShadRel data and real-world images?
• RQ5 How does the proposed approach perform in shadow-controllable and image-harmonization settings?

주요 결과

• The LGI-based framework achieves state-of-the-art performance on ShadRel for joint shadow synthesis and relighting compared to a latent-bridge-matching baseline (LBM).
• Qualitative results show shadows that align with light direction and scene geometry and realistic relighting across diverse materials.
• On real-world object insertions, the method outperforms relighting-only baselines in both realism and geometric consistency.
• In clean-background shadow control benchmarks, the method yields accurate shadow shapes and densities comparable to or better than prior methods.
• In image harmonization on DESOBAv2, the method achieves competitive overall metrics with improved shadow-region accuracy.
• Ablation indicates the LGI module substantially improves performance; depth-only variants contribute less and can degrade when combined with noisy depth.