[论文解读] Making Images Real Again: A Comprehensive Survey on Deep Image Composition

Li Niu, Wenyan Cong+5 more|ArXiv.org|Jun 28, 2021

Digital Media Forensic Detection参考文献 103被引用 38

一句话总结

对深度图像合成的综合综述，详细介绍子任务（对象放置、混合、协调、阴影生成、生成式合成、前景搜索）、数据集、评估指标，以及未来工作的路线图。

ABSTRACT

As a common image editing operation, image composition (object insertion) aims to combine the foreground from one image and another background image, to produce a composite image. However, there are many issues that could make the composite images unrealistic. These issues can be summarized as the inconsistency between foreground and background, which includes appearance inconsistency (e.g., incompatible illumination), geometry inconsistency (e.g., unreasonable size), and semantic inconsistency (e.g., mismatched semantic context). The image composition task could be decomposed into multiple sub-tasks, in which each sub-task targets one or more issues. Specifically, object placement aims to find reasonable scale, location, and shape for the foreground. Image blending aims to address the unnatural boundary between foreground and background. Image harmonization aims to adjust the illumination statistics of foreground. Shadow (resp., reflection) generation aims to generate plausible shadow (resp., reflection) for the foreground. These sub-tasks can be executed sequentially or in parallel to acquire realistic composite images. To the best of our knowledge, there is no previous survey on image composition. In this paper, we conduct a comprehensive survey over the sub-tasks and combined task of image composition. For each one, we summarize the existing methods, available datasets, and common evaluation metrics. Datasets and codes for image composition are summarized at https://github.com/bcmi/Awesome-Object-Insertion. We have also contributed the first image composition toolbox: libcom https://github.com/bcmi/libcom, which assembles 10+ image-composition-related functions. The ultimate goal of this toolbox is to solve all image composition problems with simple `import libcom'. Based on libcom toolbox, we also develop an online image composition workbench https://libcom.ustcnewly.com.

研究动机与目标

• 总结在图像合成中削弱真实感的不一致类型（外观、几何、语义）。
• 编目实现真实合成所需的子任务和组合任务（放置、混合、协调、阴影生成、生成式合成、前景搜索）。
• 提供数据集、评估指标，以及面向建立和评估图像合成模型的实践指南。

提出的方法

• 将图像合成中的问题分为外观、几何和语义不一致，并将其映射到相应的子任务。
• 描述每个子任务的传统方法与深度学习方法，以及它们如何按顺序或并行结合。
• 总结可用的数据集（例如 OPA、COCO 派生数据）以及在对象放置和图像合成研究中使用的评估指标。
• 强调扩散模型及生成方法在统一或多任务合成管线中的作用。
• 提供关于数据集、基准测试和评估实践的指南，以实现方法之间的公平比较。

实验结果

研究问题

• RQ1 图像合成中的主要不一致类型有哪些，哪些子任务可以解决它们？
• RQ2 对象放置、混合、协调和阴影生成如何被组织成有效的管线（顺序或并行）以产生真实的合成？
• RQ3 用于评估图像合成方法的数据集和评估指标有哪些，它们的优点和局限性是什么？
• RQ4 生成式（包括基于扩散的方法）与判别式/基于优化的方法在对象放置和合成中的比较？
• RQ5 对深度图像合成未来工作的实际指南和基准是什么？

主要发现

• 对象放置、混合、协调和阴影生成解决外观、边界和光照不一致性以提高真实感。
• 判别式对象放置模型在 locating plausible placements 上可以超过生成式模型，尤其是在配备高效的位置打分分数图的情况下。
• 生成式方法在多样化放置和视角变化方面具有灵活性，但在某些场景下可能效率较低或需要更多监督。
• 诸如 OPA 之类的数据集提供具理性标签的大规模基准，用于评估合成真实感。
• 目前尚无统一的图像混合基准，但现有方法使用真实感分数、用户研究、与真实合成的 PSNR 以及下游任务性能作为代理。