[论文解读] Deep Image Harmonization by Bridging the Reality Gap

Junyan Cao, Wenyan Cong+3 more|arXiv (Cornell University)|Mar 31, 2021

Image and Signal Denoising Methods参考文献 4被引用 9

一句话总结

本文提出RdHarmony，一个通过3D渲染生成的大规模渲染图像和谐化数据集，旨在减少人工数据收集工作量，并引入CharmNet，一种跨域和谐化网络，通过对抗性损失、风格感知损失和域不变特征学习，弥合渲染图像与真实图像之间的现实差距。该方法在真实数据有限的新类别上表现出色，展示了从渲染域到真实域的有效知识迁移能力。

ABSTRACT

Image harmonization has been significantly advanced with large-scale harmonization dataset. However, the current way to build dataset is still labor-intensive, which adversely affects the extendability of dataset. To address this problem, we propose to construct rendered harmonization dataset with fewer human efforts to augment the existing real-world dataset. To leverage both real-world images and rendered images, we propose a cross-domain harmonization network to bridge the domain gap between two domains. Moreover, we also employ well-designed style classifiers and losses to facilitate cross-domain knowledge transfer. Extensive experiments demonstrate the potential of using rendered images for image harmonization and the effectiveness of our proposed network.

研究动机与目标

• 通过3D渲染生成合成训练数据，以减少收集真实世界图像和谐化数据集的劳动密集型过程。
• 解决渲染图像（源域）与真实图像（目标域）之间的域差距问题，该问题会降低模型的泛化能力。
• 实现在图像和谐化任务中，特别是针对现有真实数据集中未包含的新前景类别的有效跨域知识迁移。
• 开发一个统一框架，利用渲染图像和真实图像联合训练，提升模型在分布外测试案例上的性能。

提出的方法

• 利用Unity3D和UniStorm构建RdHarmony，一个大规模的渲染和谐化数据集，用于在多样的光照和采集条件下生成图像。
• 通过3D场景渲染生成具有精确前景掩码的合成图像，便于轻松替换前景，从而创建丰富的训练样本对。
• 提出CharmNet，一种三阶段网络：使用对抗性域对齐进行域特定编码，使用域不变编码-解码结构实现特征共享，以及使用域特定解码进行重建。
• 通过UniStorm提供的显式风格标签引入风格感知损失，以指导特征适应并提升跨域迁移能力。
• 采用对抗性损失，对齐渲染图像与真实图像域之间的特征分布，减少域偏移。
• 集成风格聚合（SA）损失，显式建模并迁移域间的风格特征，增强特征和谐化效果。

实验结果

研究问题

• RQ1 通过3D渲染生成的渲染图像能否在极少人工标注的情况下有效扩充真实世界图像和谐化数据集？
• RQ2 深度学习模型如何有效弥合图像和谐化任务中渲染图像与真实图像之间的域差距？
• RQ3 来自渲染图像域的知识在多大程度上能提升真实世界测试图像的性能，特别是在新前景类别上？
• RQ4 在图像和谐化任务中，哪些组件对实现有效的跨域知识迁移最为关键？

主要发现

• 所提出的CharmNet在新类别的真实世界测试图像上达到最先进性能，显著优于iDIH和CUT等基线方法。
• 将对抗性损失与风格感知损失结合可实现协同增益，其中对抗性损失对域对齐的贡献最大。
• 使用渲染图像扩充真实训练数据以应对新类别，能持续提升性能，尤其在真实数据稀缺时效果更明显。
• 消融实验表明，域特定编码和域不变解码阶段均不可或缺，最优性能通过合理配置非共享层数量实现。
• 定性结果表明，CharmNet生成的和谐化输出视觉上更一致，前景风格与背景高度匹配，且不扭曲前景内容。
• 在真实世界合成图像上的用户研究表明，使用RdHarmony和CharmNet训练的模型在感知质量上优于基线模型。