[论文解读] Lasagna: Layered Score Distillation for Disentangled Object Relighting

Dina Bashkirova, Arijit Ray+5 more|arXiv (Cornell University)|Nov 30, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 Lasagna，一种基于文本引导的分层得分蒸馏方法，用于解耦对象的光照重制，在保持图像内容的同时实现直观的光照控制。通过在合成光照重制数据集 R-eLiT 上蒸馏扩散模型的先验，Lasagna 在真实图像和艺术图像上均实现了最先进性能，在 91% 的人类偏好评估中优于基线方法。

ABSTRACT

Professional artists, photographers, and other visual content creators use object relighting to establish their photo's desired effect. Unfortunately, manual tools that allow relighting have a steep learning curve and are difficult to master. Although generative editing methods now enable some forms of image editing, relighting is still beyond today's capabilities; existing methods struggle to keep other aspects of the image -- colors, shapes, and textures -- consistent after the edit. We propose Lasagna, a method that enables intuitive text-guided relighting control. Lasagna learns a lighting prior by using score distillation sampling to distill the prior of a diffusion model, which has been finetuned on synthetic relighting data. To train Lasagna, we curate a new synthetic dataset ReLiT, which contains 3D object assets re-lit from multiple light source locations. Despite training on synthetic images, quantitative results show that Lasagna relights real-world images while preserving other aspects of the input image, outperforming state-of-the-art text-guided image editing methods. Lasagna enables realistic and controlled results on natural images and digital art pieces and is preferred by humans over other methods in over 91% of cases. Finally, we demonstrate the versatility of our learning objective by extending it to allow colorization, another form of image editing.

研究动机与目标

• 解决现有文本引导图像编辑方法中缺乏几何感知与可控光照重制的问题。
• 通过将光照编辑与其他图像因素解耦，减少光照重制任务中从模拟到真实世界的域差距。
• 实现在无需手动提示调优或大量超参数调整的前提下，通过语言驱动实现直观的光照重制。
• 证明合成光照重制先验在真实世界图像与抽象数字艺术图像上的泛化能力。
• 将该方法的实用性扩展至光照重制之外的其他编辑任务，例如草图着色。

提出的方法

• 利用得分蒸馏采样（SDS）从微调过的扩散模型中蒸馏出几何感知的光照先验，该模型在合成光照重制数据上进行微调。
• 将光照重制表示为像素空间中的亮度调整，从而实现解耦编辑，保持颜色、纹理和形状不变。
• 引入分层编辑框架，将光照作为独立的编辑层，通过加权混合与原始图像组合。
• 在包含超过 14,000 个 3D 渲染物体、多种光源配置与方向的新型合成数据集 R-eLiT 上进行训练。
• 对所有光照重制指令使用单一提示模板，最大限度减少提示调优需求。
• 通过引入着色层与透明度层，并采用基于 CLIP 的结构正则化器进行逐元素混合，将框架扩展至着色任务。

实验结果

研究问题

• RQ1 在不改变非光照属性的前提下，微调于合成光照重制数据的扩散模型能否泛化至真实世界图像？
• RQ2 得分蒸馏采样能否有效从扩散模型中提取出几何感知的光照先验以实现可控编辑？
• RQ3 采用亮度调整的分层编辑方法是否比端到端的扩散基编辑方法更好地保持图像内容？
• RQ4 在单一合成数据集上训练的统一先验是否能支持在自然图像与数字艺术等多样化领域中的高质量光照重制？
• RQ5 相同的损失目标能否通过最小的架构修改扩展至其他编辑任务（如草图着色）？

主要发现

• 在多个数据集上，Lasagna 在超过 91% 的人类偏好评估中优于最先进文本引导编辑方法，包括 InstructPix2Pix 和 P2P。
• 在 DreamBooth 数据集上，Lasagna 在 91% 的情况下优于 ControlNet，证明了先验蒸馏在缓解模拟到真实域差距方面的有效性。
• 在 R-eLiT 测试集上，Lasagna 相较于 Text2Live 和 DDS 的偏好度达 92%，证实了其分层与蒸馏设计的重要性。
• 该方法在数字艺术与自然图像上均表现出良好泛化能力，在保持颜色、纹理与形状一致性的同时，实现精确的光照方向控制。
• 失败案例包括背景过曝伪影以及高度抽象输入的处理挑战，提示可通过前景掩码进行改进。
• 该方法成功扩展至草图着色任务，通过修改层组合与变分得分蒸馏，取得了合理的结果。