Skip to main content
QUICK REVIEW

[论文解读] Joint Shadow Generation and Relighting via Light-Geometry Interaction Maps

Shan Wang, Peixia Li|arXiv (Cornell University)|Feb 25, 2026
Computer Graphics and Visualization TechniquesComputer Science被引用 0
一句话总结

本文提出从单目深度学习的 Light–Geometry Interaction (LGI) 地图,用于联合生成阴影和重光,并引入大规模的 ShadRel 数据集,在真实感与一致性方面达到最先进水平。

ABSTRACT

We propose Light-Geometry Interaction (LGI) maps, a novel representation that encodes light-aware occlusion from monocular depth. Unlike ray tracing, which requires full 3D reconstruction, LGI captures essential light-shadow interactions reliably and accurately, computed from off-the-shelf 2.5D depth map predictions. LGI explicitly ties illumination direction to geometry, providing a physics-inspired prior that constrains generative models. Without such prior, these models often produce floating shadows, inconsistent illumination, and implausible shadow geometry. Building on this representation, we propose a unified pipeline for joint shadow generation and relighting - unlike prior methods that treat them as disjoint tasks - capturing the intrinsic coupling of illumination and shadowing essential for modeling indirect effects. By embedding LGI into a bridge-matching generative backbone, we reduce ambiguity and enforce physically consistent light-shadow reasoning. To enable effective training, we curated the first large-scale benchmark dataset for joint shadow and relighting, covering reflections, transparency, and complex interreflections. Experiments show significant gains in realism and consistency across synthetic and real images. LGI thus bridges geometry-inspired rendering with generative modeling, enabling efficient, physically consistent shadow generation and relighting.

研究动机与目标

  • 说明在单视图阴影生成与重光中需要物理信息先验以确保光-阴影相互作用的一致性。
  • 引入 Light–Geometry Interaction (LGI) 地图,将深度与照明方向耦合,以约束生成模型。
  • 开发一个统一的管线,联合作用阴影生成和对象层面的重光,而非分开处理。
  • 创建一个覆盖软阴影、反射和互反射的大规模数据集(ShadRel),用于训练和评估模型。

提出的方法

  • 将 LGI 地图定义为可微分的、基于深度的表示,编码来自单目深度图的光遮挡关系。
  • 使用桥接匹配的扩散骨架,基于预训练模型初始化,潜在空间的 SDE 漂移 v_theta 以 LGI 地图和全局照明线索为条件。
  • 以加权的 L1 损失替代像素级损失,强调亮度变化区域以将学习聚焦于阴影区域。
  • 通过深度估计、3D 抬升、光线采样和高度差计算来生成 LGI 地图,以捕捉光-几何相互作用。
  • 在 ShadRel 数据集上进行训练,使用 Blender Cycles 渲染阴影、反射和互反射的合成场景;在合成和真实图像上进行评估。
  • 将框架扩展到图像和谐化,通过学习从合成图像中推断照明并利用可微 LGI 地图实现。

实验结果

研究问题

  • RQ1LGI 地图是否可以从单目深度导出,作为可微分的、受物理启发的先验,以引导联合阴影生成和重光?
  • RQ2嵌入光-几何耦合如何影响单视图编辑任务中阴影与间接照明的真实感和一致性?
  • RQ3与基线、独立处理的方法相比,联合建模阴影生成和重光能带来怎样的性能提升?
  • RQ4LGI 基方法对 ShadRel 的合成数据与真实世界图像之间的领域偏移是否具有鲁棒性?
  • RQ5在阴影可控和图像和谐化设定下,该方法的表现如何?

主要发现

  • 基于 LGI 的框架在 ShadRel 的联合阴影合成与重光任务上,优于潜在桥接匹配基线(LBM)的最先进性能。
  • 定性结果显示阴影与光线方向及场景几何对齐,且在多种材质下实现真实感重光。
  • 在真实世界对象插入任务中,该方法在真实感和几何一致性方面均优于仅重光的基线。
  • 在干净背景的阴影形状与密度控制基准中,该方法的阴影形状与密度与先前方法相比达到或超过水平。
  • 在 DESOBAv2 的图像和谐化任务中,该方法在整体指标上具有竞争力,并在阴影区域准确性上有所提升。
  • 消融结果表明 LGI 模块显著提升性能;仅深度的变体贡献较小,且在与带噪深度结合时可能降级。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。