[论文解读] Cut-and-Paste Neural Rendering

Anand Bhattad, David Forsyth|arXiv (Cornell University)|May 4, 2021

Computer Graphics and Visualization Techniques参考文献 49被引用 8

一句话总结

本文提出了一种剪切-粘贴神经渲染方法，该方法使用深度图像先验（DIP）作为神经渲染器，通过强制保持一致的反照率、照明场和表面法线，将插入对象与目标场景融合。该方法在无需几何模型、渲染训练数据或标注标签的情况下实现逼真照明效果，仅需一个预训练的法线估计器。

ABSTRACT

Cut-and-paste methods take an object from one image and insert it into another. Doing so often results in unrealistic looking images because the inserted object's shading is inconsistent with the target scene's shading. Existing reshading methods require a geometric and physical model of the inserted object, which is then rendered using environment parameters. Accurately constructing such a model only from a single image is beyond the current understanding of computer vision. We describe an alternative procedure -- cut-and-paste neural rendering, to render the inserted fragment's shading field consistent with the target scene. We use a Deep Image Prior (DIP) as a neural renderer trained to render an image with consistent image decomposition inferences. The resulting rendering from DIP should have an albedo consistent with composite albedo; it should have a shading field that, outside the inserted fragment, is the same as the target scene's shading field; and composite surface normals are consistent with the final rendering's shading field. The result is a simple procedure that produces convincing and realistic shading. Moreover, our procedure does not require rendered images or image-decomposition from real images in the training or labeled annotations. In fact, our only use of simulated ground truth is our use of a pre-trained normal estimator. Qualitative results are strong, supported by a user study comparing against state-of-the-art image harmonization baseline.

研究动机与目标

• 解决将对象粘贴到新场景时出现的照明不一致问题。
• 消除对插入对象显式几何或物理模型的需求。
• 仅通过对象的单张图像和预训练的法线估计器，实现逼真图像融合。
• 开发一种方法，无需渲染训练图像或图像分解标注。
• 通过神经渲染隐式优化反照率、照明和法线，生成逼真结果。

提出的方法

• 使用深度图像先验（DIP）作为神经渲染器，训练其重建包含一致图像分解的合成图像。
• 优化DIP以生成与合成图像反照率一致的反照率。
• 强制插入对象外部的照明场与目标场景的照明场保持一致。
• 确保合成表面法线与最终渲染结果的照明场保持一致。
• 利用预训练的法线估计器提供初始法线监督，但训练过程中无需真实法线。
• 完全依赖图像级优化，无需任何合成真实图像或标注的分解。

实验结果

研究问题

• RQ1 基于深度图像先验的神经渲染器能否在无需显式3D几何结构的情况下实现逼真照明融合？
• RQ2 能否仅通过图像级监督联合优化一致的反照率、照明和表面法线？
• RQ3 该方法是否在不使用渲染训练数据或标注的情况下优于最先进图像融合基线？
• RQ4 能否仅通过预训练法线估计器和图像优化，将单张图像对象逼真地粘贴到场景中？
• RQ5 在未显式优化物理参数的情况下，生成的渲染结果是否在感知上一致且视觉上令人信服？

主要发现

• 所提方法在无需3D模型或物理场景参数的情况下，可生成高度逼真的剪切-粘贴操作照明效果。
• 该方法取得显著的定性结果，用户研究证实其视觉真实感。
• 训练过程中无需任何渲染图像或标注的图像分解。
• 使用预训练法线估计器可实现一致的表面法线估计，无需微调或真实标签。
• 用户研究结果表明，该方法在感知质量上优于最先进图像融合基线。
• 该方法表明，通过DIP的隐式优化可有效统一反照率、照明和法线，实现逼真渲染。