[论文解读] Deep Image Harmonization

Yi‐Hsuan Tsai, Xiaohui Shen+4 more|arXiv (Cornell University)|Feb 28, 2017

Image Enhancement Techniques参考文献 30被引用 19

一句话总结

本文提出一种端到端的深度卷积神经网络用于图像合成，通过联合学习上下文与语义特征，调整前景外观以实现更逼真的合成图像。通过利用大规模、高质量的合成训练数据集，该方法在真实合成图像上的B-T分数达到1.424，显著优于先前的最先进方法，且在GPU上处理图像仅需0.1秒。

ABSTRACT

Compositing is one of the most common operations in photo editing. To generate realistic composites, the appearances of foreground and background need to be adjusted to make them compatible. Previous approaches to harmonize composites have focused on learning statistical relationships between hand-crafted appearance features of the foreground and background, which is unreliable especially when the contents in the two layers are vastly different. In this work, we propose an end-to-end deep convolutional neural network for image harmonization, which can capture both the context and semantic information of the composite images during harmonization. We also introduce an efficient way to collect large-scale and high-quality training data that can facilitate the training process. Experiments on the synthesized dataset and real composite images show that the proposed network outperforms previous state-of-the-art methods.

研究动机与目标

• 解决前景与背景外观不一致导致的合成图像不真实问题。
• 克服以往方法依赖手工设计特征与统计匹配的局限性，这些方法在外观差异较大时表现不佳。
• 开发一种端到端的深度学习框架，以同时捕捉上下文与语义信息，提升合成效果。
• 构建大规模、高质量的图像合成训练数据集，由于需要专业编辑，此类数据集目前较为稀缺。
• 实现实时推理的同时，保持合成图像的高度真实感。

提出的方法

• 提出一种双分支编码器-解码器CNN架构，其中一个分支负责图像合成，另一个分支负责场景解析，两者共享同一编码器以进行特征学习。
• 网络通过联合训练，将场景解析分支中的语义线索传播至合成分支，以指导前景外观的调整。
• 设计了一种高效的图像合成流水线，通过将真实图像与前景物体和背景组合，生成大规模、高质量的训练样本对，确保合成分布的真实感。
• 模型以合成图像和前景掩码作为输入，直接输出经过调整的前景外观的合成图像。
• 采用联合训练策略，实现端到端优化，使语义理解能够引导上下文感知的外观调整。
• 训练过程使用合成数据集中的真实合成图像作为监督信号，同时监督合成与场景解析两个任务。

实验结果

研究问题

• RQ1 端到端的深度学习模型是否能通过结合上下文与语义信息，有效实现图像合成？
• RQ2 与仅使用统计匹配的方法相比，联合训练合成与场景解析是否能显著提升图像的真实感？
• RQ3 通过数据生成流水线构建的大规模、高质量合成数据集，是否能有效泛化到真实世界中的合成图像？
• RQ4 与最先进方法相比，该方法在真实感与推理速度方面分别实现了多大的性能提升？
• RQ5 该模型是否能泛化到任意前景掩码，包括复杂或杂乱的背景？

主要发现

• 该方法在真实合成图像上的B-T分数达到1.424，显著优于次佳方法（1.139），用户研究结果证实其优越性。
• 在合成数据集上，模型取得了更优的定量结果，表明其能有效从大规模训练数据中学习。
• 与以往基于统计匹配或优化的方法（耗时超过10秒）相比，该方法将推理时间缩短至0.1秒（在Titan X GPU上），实现显著加速。
• 模型对不同前景掩码（包括反向掩码）均表现出良好泛化能力，显示出对不同上下文与语义线索的鲁棒性。
• 用户研究表明，与[28]和[32]相比，该模型生成的结果更具真实感，尤其在外观差异较大的情况下表现更优。
• 合成与场景解析的联合训练使模型能够实现语义感知的外观调整，例如正确调整天空区域以匹配周围色调，从而提升视觉合理性。